Аугментация данных

Аугментация данных — это важный метод в машинном обучении (МО), используемый для искусственного увеличения размера и разнообразия набора данных для обучения. Это достигается путем создания модифицированных, но реалистичных версий существующих образцов данных. Основная цель состоит в том, чтобы улучшить производительность и устойчивость моделей ИИ, особенно в компьютерном зрении (КЗ), путем предоставления им более широкого спектра условий во время обучения. Это помогает предотвратить переобучение, когда модель слишком хорошо изучает обучающие данные, но не может обобщать их на новые, невидимые данные, что в конечном итоге приводит к повышению точности модели.

Как работает аугментация данных

В компьютерном зрении увеличение данных включает в себя применение ряда преобразований к изображениям. Эти преобразования предназначены для имитации реальных изменений, с которыми модель может столкнуться после развертывания. Общие методы включают в себя:

• Геометрические преобразования: Они изменяют пространственную ориентацию изображения. Примеры включают случайные повороты, масштабирование, сдвиги (перемещение), обрезку и отражение (горизонтальное или вертикальное). Они учат модель быть инвариантной к положению и ориентации объекта.
• Преобразования цветового пространства: Они изменяют цветовые свойства изображения. Регулировка яркости, контрастности, насыщенности и оттенка делает модель более устойчивой к изменениям условий освещения.
• Продвинутые методы: Более сложные методы включают в себя более значительное изменение содержимого изображения. Они могут включать добавление случайного шума (например, гауссовского шума), применение эффектов размытия или использование таких методов, как Mixup, который создает новые изображения путем линейного объединения двух существующих, и Cutout, который случайным образом удаляет области изображения. Вы можете узнать больше об этих методах в Полном руководстве по расширению данных.

Многие фреймворки глубокого обучения, такие как PyTorch и TensorFlow, предоставляют инструменты для увеличения данных. Специализированные библиотеки, такие как Albumentations, предлагают обширную коллекцию высокопроизводительных методов увеличения и интегрированы с моделями, такими как Ultralytics YOLOv8, для беспрепятственного разнообразия данных обучения.

Применение в реальном мире

Аугментация данных является стандартной практикой во многих областях для создания более надежных систем ИИ.

1. ИИ в здравоохранении: В анализе медицинских изображений наборы данных часто невелики из-за правил конфиденциальности пациентов и редкости определенных заболеваний. Чтобы обучить модель для обнаружения опухолей на сканах, методы аугментации, такие как вращение, масштабирование и изменение яркости, создают более разнообразный набор обучающих примеров. Это помогает модели точно идентифицировать аномалии независимо от различий в оборудовании для визуализации или положения пациента, повышая надежность диагностики.
2. ИИ для автомобильной промышленности: Разработка надежных систем обнаружения объектов для автономных транспортных средств требует данных из бесчисленных сценариев вождения. Вместо сбора данных для каждого возможного условия, аугментация может имитировать различные погодные условия (например, добавление синтетического дождя или снега), освещение (день, сумерки, ночь) и окклюзии (например, пешеход, частично скрытый другим автомобилем). Это делает систему восприятия транспортного средства более надежной в непредсказуемых реальных условиях.

Другие важные применения включают искусственный интеллект в производстве для контроля качества и искусственный интеллект в сельском хозяйстве для обнаружения болезней сельскохозяйственных культур в различных полевых условиях.

Аугментация данных в сравнении со смежными понятиями

Важно отличать увеличение данных от других методов, связанных с данными.

• Синтетические данные: Хотя оба метода улучшают наборы данных, они работают по-разному. Аугментация данных изменяет существующие реальные данные. В отличие от этого, генерация синтетических данных создает совершенно новые, искусственные данные с нуля, используя симуляции или генеративные модели, такие как GAN. В то время как аугментация расширяет дисперсию вокруг наблюдаемых данных, синтетические данные могут создавать новые сценарии, отсутствующие в исходном наборе данных, концепция, рассмотренная в этом обзоре синтетических данных в компьютерном зрении.
• Очистка данных (Data Cleaning): Очистка данных является частью более широкого конвейера предварительной обработки данных (data preprocessing), который фокусируется на выявлении и исправлении ошибок, несоответствий и неточностей в наборе данных. Ее цель - улучшить качество данных. Аугментация данных, с другой стороны, направлена на увеличение количества и разнообразия данных. Чистый набор данных - идеальная отправная точка перед применением аугментации.
• Transfer Learning (перенос обучения): Этот метод включает в себя использование модели, предварительно обученной на большом эталонном наборе данных, таком как ImageNet, а затем ее тонкую настройку на меньшем наборе данных, специфичном для конкретной задачи. Аугментация данных часто используется на этапе тонкой настройки для дальнейшего улучшения производительности и предотвращения переобучения на новых данных.

Платформы, такие как Ultralytics HUB, оптимизируют весь процесс обучения моделей, включая увеличение данных в качестве ключевого шага, чтобы помочь пользователям создавать мощные современные модели AI.