Data Preprocessing

Предобработка данных — это важнейший первый этап конвейера машинного обучения, на котором необработанные данные преобразуются в чистый и понятный для алгоритмов формат. В реальном мире данные часто неполны, противоречивы и не отражают определённые закономерности или тенденции, поэтому для компьютера они выглядят «грязными» или «шумными». Предобработка устраняет разрыв между необработанной информацией и структурированными входными данными, необходимыми для нейронных сетей, существенно влияя на точность и эффективность итоговой модели. Стандартизируя и очищая наборы данных, инженеры помогают сложным архитектурам, таким как YOLO26, изучать значимые закономерности, а не шум.

Почему предобработка данных важна?#

Модели машинного обучения, особенно используемые в компьютерном зрении, чувствительны к качеству и масштабу входных данных. Без надлежащей предобработки модели может быть сложно сойтись во время обучения, либо она может выдавать ненадёжные предсказания. Например, если изображения в наборе данных имеют разное разрешение или отличаются по цветовым диапазонам, модели приходится тратить дополнительные ресурсы на обработку этих несоответствий вместо того, чтобы сосредоточиться непосредственно на задаче обнаружения объектов.

Методы предобработки обычно направлены на следующее:

• Повышение качества данных: удаление ошибок, выбросов и дубликатов, чтобы набор данных точно отражал предметную область задачи.
• Стандартизация входных данных: приведение признаков, например значений пикселей, к единому диапазону, часто от 0 до 1, чтобы алгоритмы оптимизации, такие как градиентный спуск, работали эффективнее.
• Снижение сложности: упрощение представления данных с помощью таких методов, как снижение размерности, для ускорения процесса обучения.

Ключевые методы предобработки#

Для подготовки данных к обучению используется несколько стандартных методов, каждый из которых выполняет определённую задачу в конвейере данных.

• Очистка данных: обработка пропущенных значений (импутация), исправление противоречивой разметки и фильтрация повреждённых файлов. В контексте ИИ для компьютерного зрения это может означать удаление размытых изображений или исправление неправильных координат ограничивающих рамок.
• Нормализация и масштабирование: поскольку интенсивность пикселей может значительно различаться, нормализация изображений не позволяет пикселям с высокими значениями доминировать в процессе обучения. Распространённые методы включают масштабирование Min-Max и нормализацию по Z-оценке.
• Кодирование: категориальные данные, например метки классов («кошка», «собака»), необходимо преобразовать в числовой формат. Такие методы, как one-hot-кодирование или кодирование меток, являются стандартной практикой.
• Изменение размера и форматирование: модели глубокого обучения обычно ожидают входные данные фиксированного размера. Конвейеры предобработки автоматически изменяют размер изображений с разными параметрами до стандартных размеров, например 640x640 пикселей, что часто используется для вывода в реальном времени.

Практические применения#

Предобработка данных широко применяется в различных отраслях, помогая преобразовывать необработанные входные данные в практические выводы.

Диагностика с помощью медицинской визуализации#

В медицинском ИИ предобработка необходима для анализа рентгеновских снимков или МРТ-сканов. Необработанные медицинские изображения часто содержат шум от датчиков, а освещение и контраст могут различаться в зависимости от используемого аппарата. Такие этапы предобработки, как выравнивание гистограммы, повышают контрастность, делая опухоли или переломы более заметными, а фильтры шумоподавления уточняют структуру изображения. Такая подготовка позволяет моделям выполнять обнаружение опухолей с большей точностью и потенциально спасать жизни за счёт сокращения числа ложноотрицательных результатов.

Автономное вождение#

Беспилотные автомобили используют данные от нескольких датчиков, включая LiDAR, радары и камеры. Эти датчики создают данные с разной частотой и в разных масштабах. Перед объединением данных предобработка синхронизирует эти потоки и отфильтровывает помехи окружающей среды, например дождь или блики. Для автономных транспортных средств это обеспечивает системе восприятия целостное представление о дороге, позволяя безопасно ориентироваться и надёжно выполнять обнаружение пешеходов в условиях реального времени.

Связанные понятия#

Важно отличать предобработку данных от других терминов, используемых в рабочем процессе машинного обучения.

• в сравнении с аугментацией данных: предобработка подготавливает данные к техническому использованию моделью, например изменяет их размер, а аугментация создаёт новые варианты существующих данных, например поворачивает или отражает изображения, чтобы повысить разнообразие набора данных. Подробнее см. в нашем руководстве по аугментации данных YOLO.
• в сравнении с инженерией признаков: предобработка связана с очисткой и форматированием данных. Инженерия признаков включает создание новых значимых переменных на основе данных для повышения эффективности модели, например вычисление «индекса массы тела» по столбцам с ростом и весом.
• в сравнении с разметкой данных: разметка — это процесс определения эталонных данных, например рисования ограничивающих рамок вокруг объектов. Предобработка выполняется после сбора и разметки данных, но до их передачи в нейронную сеть.

Практический пример#

В экосистеме Ultralytics предобработка часто выполняется автоматически во время обучения. Однако ты также можешь вручную предварительно обрабатывать изображения с помощью таких библиотек, как OpenCV. Следующий фрагмент демонстрирует загрузку изображения, изменение его размера до стандартного входного размера для модели, такой как YOLO26, и нормализацию значений пикселей.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Для крупномасштабных проектов использование таких инструментов, как Ultralytics Platform, может упростить эти рабочие процессы. Платформа упрощает управление наборами данных и автоматизирует многие задачи предобработки и аннотирования, ускоряя переход от необработанных данных к развёрнутой модели.