Data Preprocessing

Предварительная обработка данных — это критически важный первый шаг в конвейере машинного обучения, где необработанные данные преобразуются в чистый и понятный для алгоритмов формат. В реальном мире данные часто бывают неполными, противоречивыми и лишенными определенных закономерностей или трендов, выглядя для компьютера «грязными» или «зашумленными». Предварительная обработка устраняет разрыв между необработанной информацией и структурированными входными данными, необходимыми для нейронных сетей, что значительно влияет на точность и эффективность финальной модели. Стандартизируя и очищая наборы данных, инженеры гарантируют, что такие сложные архитектуры, как YOLO26, смогут изучать значимые закономерности, а не шум.

Link to this sectionПочему предварительная обработка данных важна?#

Модели машинного обучения, особенно используемые в компьютерном зрении, чувствительны к качеству и масштабу входных данных. Без надлежащей предварительной обработки модель может с трудом сходиться во время обучения или выдавать ненадежные прогнозы. Например, если изображения в наборе данных имеют разное разрешение или цветовую гамму, модели приходится тратить дополнительные ресурсы на изучение того, как справляться с этими несоответствиями, вместо того чтобы сосредоточиться на самой задаче обнаружения объектов.

Методы предварительной обработки обычно направлены на то, чтобы:

• Улучшить качество данных: Удалить ошибки, выбросы и дубликаты, чтобы набор данных точно отражал предметную область.
• Стандартизировать входные данные: Изменить масштаб признаков (например, значений пикселей) до единого диапазона, часто от 0 до 1, чтобы помочь таким алгоритмам оптимизации, как градиентный спуск, работать более плавно.
• Снизить сложность: Упростить представления данных с помощью таких методов, как снижение размерности, ускоряя процесс обучения.

Link to this sectionОсновные методы предварительной обработки#

Для подготовки данных к обучению используется несколько стандартных методов, каждый из которых служит определенной цели в конвейере обработки данных.

• Очистка данных: Это включает в себя работу с пропущенными значениями (импутацию), исправление противоречивой разметки и фильтрацию поврежденных файлов. В контексте компьютерного зрения это может означать удаление размытых изображений или исправление неверных координат ограничивающих рамок.
• Нормализация и масштабирование: Поскольку интенсивность пикселей может сильно варьироваться, нормализация изображений гарантирует, что пиксели с высокими значениями не будут доминировать в процессе обучения. Распространенные методы включают Min-Max масштабирование и Z-score нормализацию.
• Кодирование: Категориальные данные, такие как метки классов (например, "кошка", "собака"), должны быть преобразованы в числовые форматы. Методы вроде one-hot кодирования или кодирования меток являются стандартной практикой.
• Изменение размера и форматирование: Модели глубокого обучения обычно ожидают входные данные фиксированного размера. Конвейеры предварительной обработки автоматически меняют размер различных изображений до стандартных параметров, например 640x640 пикселей, что является обычным для инференса в реальном времени.

Link to this sectionРеальные приложения#

Предварительная обработка данных повсеместно применяется в различных отраслях, гарантируя, что необработанные входные данные превращаются в полезные идеи.

Link to this sectionДиагностика в медицинской визуализации#

В ИИ для здравоохранения предварительная обработка жизненно важна для анализа рентгеновских снимков или МРТ. Необработанные медицинские изображения часто содержат шум от датчиков или различия в освещении и контрастности в зависимости от используемого аппарата. Шаги предварительной обработки, такие как выравнивание гистограммы, повышают контрастность, делая опухоли или переломы более заметными, а фильтры шумоподавления проясняют структуру изображения. Эта подготовка позволяет моделям выполнять обнаружение опухолей с более высокой точностью, потенциально спасая жизни за счет уменьшения количества ложноотрицательных результатов.

Link to this sectionАвтономное вождение#

Беспилотные автомобили полагаются на данные от нескольких датчиков, включая LiDAR, радар и камеры. Эти датчики производят данные с разной частотой и в разных масштабах. Предварительная обработка синхронизирует эти потоки и отфильтровывает окружающие шумы, такие как дождь или блики, прежде чем объединить данные. Для автономных транспортных средств это обеспечивает системе восприятия целостное видение дороги, позволяя безопасно передвигаться и надежно выполнять обнаружение пешеходов в условиях реального времени.

Link to this sectionСвязанные концепции#

Важно отличать предварительную обработку данных от других терминов, встречающихся в рабочем процессе машинного обучения.

• vs. Аугментация данных: В то время как предварительная обработка подготавливает данные для того, чтобы модель могла ими технически воспользоваться (например, изменение размера), аугментация генерирует новые вариации существующих данных (например, вращение или зеркальное отражение изображений) для увеличения разнообразия набора данных. Подробнее см. в нашем руководстве по аугментации данных YOLO.
• vs. Разработка признаков: Предварительная обработка — это очистка и форматирование. Разработка признаков включает в себя создание новых, значимых переменных из данных для улучшения производительности модели, например расчет "индекса массы тела" на основе столбцов веса и роста.
• vs. Разметка данных: Разметка — это процесс определения эталонных данных (ground truth), например, отрисовка ограничивающих рамок вокруг объектов. Предварительная обработка происходит после сбора и разметки данных, но до того, как данные подаются в нейронную сеть.

Link to this sectionПрактический пример#

В экосистеме Ultralytics предварительная обработка часто выполняется автоматически во время обучения. Однако ты также можешь вручную обрабатывать изображения с помощью библиотек, таких как OpenCV. Следующий фрагмент демонстрирует загрузку изображения, изменение его размера до стандартного входного значения для такой модели, как YOLO26, и нормализацию значений пикселей.

import cv2
import numpy as np

# Load an image using OpenCV
image = cv2.imread("bus.jpg")

# Resize the image to 640x640, a standard YOLO input size
resized_image = cv2.resize(image, (640, 640))

# Normalize pixel values from 0-255 to 0-1 for model stability
normalized_image = resized_image / 255.0

# Add a batch dimension (H, W, C) -> (1, H, W, C) for inference
input_tensor = np.expand_dims(normalized_image, axis=0)

print(f"Processed shape: {input_tensor.shape}")

Для крупномасштабных проектов использование таких инструментов, как Ultralytics Platform, может оптимизировать эти рабочие процессы. Платформа упрощает управление наборами данных, автоматизируя многие задачи предварительной обработки и аннотирования, чтобы ускорить переход от необработанных данных к развернутой модели.