Дополнение данных

Увеличение объема данных - важнейшая техника машинного обучения (ML), используемая для искусственного увеличения размера и разнообразия обучающего набора данных. Это достигается путем создания модифицированных, но реалистичных версий существующих образцов данных. Основная цель - повысить производительность и устойчивость моделей ИИ, особенно в компьютерном зрении (КЗ), подвергая их более широкому разнообразию условий в процессе обучения. Это помогает предотвратить чрезмерную подгонку, когда модель слишком хорошо усваивает обучающие данные, но не может обобщить их на новые, невидимые данные, что в конечном итоге приводит к повышению точности модели.

Как работает расширение данных

В компьютерном зрении расширение данных подразумевает применение ряда преобразований к изображениям. Эти преобразования предназначены для имитации реальных вариаций, с которыми может столкнуться модель после развертывания. К распространенным методам относятся:

• Геометрические преобразования: Изменяют пространственную ориентацию изображения. Примеры включают произвольное вращение, масштабирование, перевод (сдвиг), кадрирование и переворачивание (горизонтальное или вертикальное). Они учат модель быть инвариантной к положению и ориентации объекта.
• Преобразования цветового пространства: Они изменяют цветовые свойства изображения. Корректировки яркости, контраста, насыщенности и оттенка делают модель более устойчивой к изменениям условий освещения.
• Продвинутые техники: Более сложные методы предполагают более существенное изменение содержимого изображения. Сюда можно отнести добавление случайного шума (например, шума Гаусса), применение эффектов размытия или использование таких методов, как Mixup, который создает новые изображения путем линейного объединения двух существующих, и Cutout, который произвольно удаляет области изображения. Подробнее об этих методах вы можете узнать из книги The Ultimate Guide to Data Augmentation.

Многие фреймворки глубокого обучения, такие как PyTorch и TensorFlow, предоставляют инструменты для дополнения данных. Специализированные библиотеки, такие как Albumentations, предлагают обширную коллекцию высокопроизводительных методов расширения и интегрируются с такими моделями, как Ultralytics YOLO11, чтобы легко разнообразить обучающие данные.

Применение в реальном мире

Увеличение объема данных является стандартной практикой во многих областях для создания более надежных систем искусственного интеллекта.

1. ИИ в здравоохранении: При анализе медицинских изображений наборы данных часто невелики из-за требований к конфиденциальности пациентов и редкости некоторых заболеваний. Чтобы обучить модель для обнаружения опухолей на снимках, методы дополнения, такие как поворот, масштабирование и изменение яркости, создают более разнообразный набор обучающих примеров. Это помогает модели точно определять аномалии независимо от различий в оборудовании для визуализации и расположения пациента, повышая надежность диагностики.
2. ИИ для автомобильной промышленности: Разработка надежных систем обнаружения объектов для автономных автомобилей требует данных из бесчисленных сценариев вождения. Вместо того чтобы собирать данные для всех возможных условий, с помощью дополнений можно имитировать различные погодные условия (например, добавлять искусственный дождь или снег), освещение (день, сумерки, ночь) и окклюзии (например, пешехода, частично скрытого другим автомобилем). Это делает систему восприятия автомобиля более надежной в непредсказуемых условиях реального мира.

Другие важные области применения включают ИИ в производстве для контроля качества и ИИ в сельском хозяйстве для обнаружения болезней сельскохозяйственных культур в различных полевых условиях.

Расширение данных в сравнении со смежными понятиями

Важно отличать увеличение данных от других методов, связанных с данными.

• Синтетические данные: Хотя оба метода расширяют наборы данных, они действуют по-разному. Расширение данных изменяет существующие реальные данные. В отличие от этого, синтетические данные создают совершенно новые, искусственные данные с нуля, используя симуляции или генеративные модели, такие как GAN. В то время как дополнение расширяет дисперсию вокруг наблюдаемых данных, синтетические данные могут создавать новые сценарии, отсутствующие в исходном наборе данных, и эта концепция рассматривается в данном обзоре синтетических данных в компьютерном зрении.
• Очистка данных: Очистка данных - это часть более широкого цикла предварительной обработки данных, которая направлена на выявление и исправление ошибок, несоответствий и неточностей в наборе данных. Ее цель - повысить качество данных. Расширение данных, с другой стороны, заключается в увеличении количества и разнообразия данных. Чистый набор данных - идеальная отправная точка перед применением расширения.
• Трансферное обучение: Этот метод предполагает использование модели, предварительно обученной на большом эталонном наборе данных, например ImageNet, и последующую ее тонкую настройку на меньшем наборе данных, специфичном для конкретной задачи. На этапе тонкой настройки часто используется расширение данных для дальнейшего повышения производительности и предотвращения перебора на новых данных.

Платформы, подобные Ultralytics HUB, оптимизируют весь процесс обучения моделей и включают расширение данных в качестве ключевого шага, помогая пользователям создавать мощные, современные модели ИИ видения.