Улучшай устойчивость моделей ИИ с помощью аугментации данных

Тестирование — критически важная часть создания любого технологического решения. Оно показывает команде, как система работает на самом деле, прежде чем она будет запущена, и позволяет исправить проблемы на раннем этапе. Это справедливо для многих областей, включая ИИ, где от моделей ожидают корректной работы в непредсказуемых реальных условиях после развертывания.

Например, computer vision — это ветвь ИИ, которая учит машины понимать изображения и видео. Модели компьютерного зрения, такие как Ultralytics YOLO26, поддерживают такие задачи, как обнаружение объектов, сегментация экземпляров и классификация изображений.

Они могут использоваться во многих отраслях для таких приложений, как мониторинг пациентов, анализ трафика, автоматизированные кассы самообслуживания и контроль качества в производстве. Однако даже при наличии продвинутых моделей и высококачественных обучающих данных решения в области компьютерного зрения могут испытывать трудности, сталкиваясь с реальными вариациями, такими как изменение освещения, движение или частично перекрытые объекты.

Это происходит потому, что модели учатся на примерах, которые им предоставляют во время обучения. Если они раньше не видели таких условий, как блики, размытость при движении или частичная видимость, им сложнее правильно распознавать объекты в подобных сценариях.

Один из способов повысить надежность модели — использовать data augmentation. Вместо сбора больших объемов новых данных ты можешь вносить небольшие и значимые изменения в существующие изображения, например корректировать освещение, выполнять обрезку или смешивать картинки. Это помогает модели научиться распознавать одни и те же объекты в самых разных ситуациях.

В этой статье мы рассмотрим, как аугментация данных повышает надежность модели и стабильность систем компьютерного зрения при развертывании вне контролируемых условий. Давай начнем!

Как проверить надежность модели#

Прежде чем погружаться в data augmentation, давай обсудим, как понять, что computer vision model действительно готова к использованию в реальном мире.

Надежная модель продолжает хорошо работать даже при изменении условий, а не только на чистых и идеально размеченных изображениях. Вот несколько практических факторов, которые стоит учитывать при оценке надежности модели ИИ:

• Изменения освещения: Модели могут вести себя по-разному при ярком свете, низкой освещенности, бликах или тенях, что может повлиять на уверенность обнаружения объектов.
• Частичное перекрытие (окклюзия): В повседневных сценах объекты часто перекрыты другими предметами или видны лишь частично. Более надежная модель способна распознать их даже при недостатке визуальной информации.
• Многолюдные сцены: Окружающая обстановка с множеством перекрывающихся объектов может сделать обнаружение более сложным. Модели, которые хорошо справляются в таких случаях, обычно более надежны в комплексных средах.

Хорошие результаты на чистых, идеально снятых изображениях не всегда означают такую же эффективность в реальном мире. Регулярное тестирование в различных условиях помогает показать, насколько хорошо модель справляется после развертывания.

Что такое аугментация данных?#

То, как объект выглядит на фотографии, может меняться в зависимости от освещения, угла обзора, расстояния или фона. Когда модель компьютерного зрения проходит обучение, набор данных, на котором она учится, должен включать такие вариации, чтобы она могла эффективно работать в непредсказуемых условиях.

Аугментация данных расширяет обучающий набор, создавая дополнительные примеры из уже имеющихся у тебя изображений. Это делается путем внесения намеренных изменений, таких как поворот или отражение изображения, настройка яркости или обрезка его части.

Например, представь, что у тебя есть только одна фотография кошки. Если ты повернешь изображение или изменишь его яркость, ты сможешь создать несколько новых версий из одного снимка. Каждая версия выглядит немного иначе, но это все та же фотография кошки. Эти вариации помогают обучить модель тому, что объект может выглядеть по-разному, оставаясь при этом тем же самым объектом.

Рис. 1. Пример аугментации изображения кошки (Source)

Как аугментация данных повышает производительность модели#

Во время обучения модели аугментация данных может быть встроена непосредственно в конвейер обучения. Вместо ручного создания и сохранения новых копий изображений случайные преобразования могут применяться при каждой загрузке изображения.

Это означает, что каждый раз модель видит немного измененную версию изображения: более яркую, зеркально отраженную или частично скрытую. Такие техники, как «случайное стирание» (random erasing), могут даже удалять небольшие области изображения, чтобы имитировать реальные ситуации, когда объект перекрыт или виден лишь частично.

Рис. 2. Примеры аугментации на основе случайного стирания (Source)

Возможность видеть множество разных версий одного и того же изображения позволяет модели понять, какие признаки являются важными, вместо того чтобы зависеть от одного идеального примера. Такое разнообразие формирует надежность модели ИИ, позволяя ей работать более стабильно в реальных условиях.

Распространенные техники аугментации данных#

Вот некоторые техники аугментации данных, используемые для внесения разнообразия в обучающие изображения:

• Геометрические преобразования: Эти методы изменяют пространственное положение объекта на изображении. Поворот, отражение, изменение размера, обрезка или сдвиг изображения позволяют модели понять, как объект может выглядеть под разными углами или с разного расстояния.
• Коррекция цвета и освещения: Освещение в реальном мире редко бывает постоянным. Изображения могут быть слишком яркими, темными или иметь искаженные цвета в зависимости от окружающей среды или используемой камеры. Регулировка яркости, контрастности, цветового тона и насыщенности позволяет моделям адаптироваться к этим визуальным изменениям и хорошо работать в разных сценах.
• Вариации качества изображения: Размытие или визуальный шум могут сделать изображения нечеткими. Добавление размытия или шума во время обучения помогает модели научиться справляться с размытием при движении, изображениями при плохом освещении или результатами работы камер низкого качества, что делает её менее чувствительной к несовершенствам визуальных данных.
• Аугментации на основе окклюзии: В реальной среде объекты часто частично перекрыты другими предметами. Это называется окклюзией изображения. Скрытие или маскирование небольших участков изображения во время обучения помогает модели учиться обнаруживать объекты, даже если видна только их часть.
• Аугментации с использованием нескольких изображений: Эти техники объединяют части нескольких изображений в один обучающий пример, что может увеличить количество видимых объектов и улучшить способность модели справляться со сложными или многолюдными сценами.

Рис. 3. Пример многоизображенческой аугментации (Source)

Аугментация данных стала проще с Python-пакетом Ultralytics#

Управление датасетами, создание вариаций изображений и написание кода трансформации могут добавить лишние шаги при создании приложения компьютерного зрения. Ultralytics Python package помогает упростить эту задачу, предоставляя единый интерфейс для обучения, запуска и развертывания моделей Ultralytics YOLO, таких как YOLO26. В рамках работы по оптимизации рабочих процессов обучения пакет включает встроенные и проверенные Ultralytics методы data augmentation, оптимизированные для моделей YOLO.

Он также поддерживает полезные интеграции, которые избавляют от необходимости использовать отдельные инструменты или кастомный код. В частности, для data augmentation пакет интегрируется с Albumentations, популярной библиотекой аугментации изображений. Эта интеграция позволяет применять аугментации автоматически во время обучения без необходимости писать дополнительные скрипты или кастомный код.

Управление аннотациями и аугментированными наборами данных#

Еще один фактор, влияющий на надежность модели — качество annotation. Чистые и точные разметки, создаваемые и управляемые с помощью таких инструментов аннотирования, как Roboflow, помогают модели понять, где находятся объекты и как они выглядят.

Во время обучения аугментации данных, такие как отражения, обрезка и повороты, применяются динамически, а аннотации автоматически корректируются в соответствии с этими изменениями. Когда метки точны, этот процесс проходит гладко и предоставляет модели множество реалистичных примеров одной и той же сцены.

Если аннотации неточны или несогласованы, эти ошибки могут повторяться на аугментированных изображениях, что делает обучение менее эффективным. Начиная с точных аннотаций, ты предотвращаешь распространение таких ошибок и способствуешь повышению надежности модели.

Улучшение приложений компьютерного зрения с помощью аугментации данных#

Давай разберем примеры того, как аугментация данных способствует надежности модели ИИ в реальных приложениях.

Повышение точности обнаружения объектов в реальных условиях#

Синтетические изображения часто используются для обучения систем object detection, когда реальных данных мало, они конфиденциальны или их трудно собрать. Они позволяют командам быстро генерировать примеры продуктов, окружений и ракурсов камеры без необходимости захватывать каждый сценарий в реальной жизни.

Однако синтетические наборы данных иногда могут выглядеть слишком «чистыми» по сравнению с реальными записями, где освещение меняется, объекты перекрывают друг друга, а фон содержит лишние детали. Аугментация данных помогает преодолеть этот разрыв, вводя реалистичные вариации, такие как изменение освещения, шумы или другое положение объектов, чтобы модель научилась справляться с условиями, с которыми она столкнется при развертывании.

Например, в недавнем исследовании модель Ultralytics YOLO11 была обучена исключительно на синтетических изображениях, а для внесения дополнительных вариаций использовалась аугментация данных. Это сыграло свою роль в том, что модель научилась распознавать объекты более широко. Она показала хорошие результаты при тестировании на реальных изображениях, хотя никогда не видела реальных данных во время обучения.

Повышение надежности решений в медицинской визуализации#

Наборы данных для медицинской визуализации часто ограничены, а сами сканы могут варьироваться в зависимости от типа оборудования, настроек визуализации или клинической среды. Различия в анатомии пациентов, углах съемки, освещении или визуальном шуме могут затруднить обучение моделей компьютерного зрения распознаванию паттернов, которые хорошо обобщаются между разными пациентами и клиниками.

Аугментация данных помогает решить эту проблему, создавая несколько вариаций одного и того же скана во время обучения, например, добавляя шум, слегка сдвигая изображение или применяя небольшие искажения. Эти изменения делают обучающие данные более репрезентативными для реальных клинических условий.

Например, в исследовании педиатрической визуализации исследователи использовали Ultralytics YOLO11 для анатомической сегментации и обучили ее на аугментированных медицинских данных. Они внесли такие вариации, как добавленный шум, небольшие сдвиги положения и небольшие искажения, чтобы сделать изображения более реалистичными.

Рис. 4. Оригинальные и аугментированные педиатрические медицинские изображения (Source)

Учась на этих вариациях, модель фокусировалась на значимых анатомических признаках, а не на поверхностных различиях. Это сделало результаты её сегментации более стабильными для разных сканов и случаев пациентов.

Основные выводы#

Сбор разнообразных данных — трудная задача, но аугментация данных позволяет моделям учиться в более широком диапазоне визуальных условий. Это приводит к повышению надежности модели при работе с перекрытиями, изменениями освещения и многолюдными сценами. В целом, это помогает им работать более надежно вне контролируемых условий обучения.

Присоединяйся к our community и изучай последние достижения в области ИИ для зрения в нашем GitHub repository. Посети наши страницы решений, чтобы узнать, как такие приложения, как AI in manufacturing и computer vision in healthcare, двигают прогресс вперед, и ознакомься с нашими licensing options, чтобы запустить свое следующее решение на базе ИИ.