Улучшай устойчивость моделей ИИ с помощью аугментации данных

Тестирование — критически важная часть создания любого технологического решения. Оно показывает команде, как система работает на самом деле, прежде чем она будет запущена, и позволяет исправить проблемы на раннем этапе. Это справедливо для многих областей, включая ИИ, где от моделей ожидают корректной работы в непредсказуемых реальных условиях после развертывания.

Например, computer vision — это отрасль ИИ, которая учит машины понимать изображения и видео. Модели компьютерного зрения, такие как Ultralytics YOLO26, поддерживают такие задачи, как обнаружение объектов, сегментация экземпляров и классификация изображений.

Они могут использоваться во многих отраслях для таких приложений, как мониторинг пациентов, анализ трафика, автоматизированные кассы самообслуживания и контроль качества в производстве. Однако даже при наличии продвинутых моделей и высококачественных обучающих данных решения в области компьютерного зрения могут испытывать трудности, сталкиваясь с реальными вариациями, такими как изменение освещения, движение или частично перекрытые объекты.

Это происходит потому, что модели учатся на примерах, которые им предоставляют во время обучения. Если они раньше не видели таких условий, как блики, размытость при движении или частичная видимость, им сложнее правильно распознавать объекты в подобных сценариях.

Один из способов повысить надежность модели — data augmentation. Вместо сбора огромных объемов новых данных инженеры могут вносить небольшие и значимые изменения в существующие изображения, такие как настройка освещения, кадрирование или смешивание изображений. Это помогает модели научиться распознавать одни и те же объекты в самых разных ситуациях.

В этой статье мы рассмотрим, как аугментация данных повышает надежность модели и стабильность систем компьютерного зрения при развертывании вне контролируемых условий. Давай начнем!

Link to this sectionКак проверить надежность модели#

Прежде чем мы перейдем к аугментации данных, давай обсудим, как понять, готова ли computer vision model к реальному использованию.

Надежная модель продолжает хорошо работать даже при изменении условий, а не только на чистых и идеально размеченных изображениях. Вот несколько практических факторов, которые стоит учитывать при оценке надежности модели ИИ:

• Изменения освещения: Модели могут вести себя по-разному при ярком свете, низкой освещенности, бликах или тенях, что может повлиять на уверенность обнаружения объектов.
• Частичное перекрытие (окклюзия): В повседневных сценах объекты часто перекрыты другими предметами или видны лишь частично. Более надежная модель способна распознать их даже при недостатке визуальной информации.
• Многолюдные сцены: Окружающая обстановка с множеством перекрывающихся объектов может сделать обнаружение более сложным. Модели, которые хорошо справляются в таких случаях, обычно более надежны в комплексных средах.

Хорошие результаты на чистых, идеально снятых изображениях не всегда означают такую же эффективность в реальном мире. Регулярное тестирование в различных условиях помогает показать, насколько хорошо модель справляется после развертывания.

Link to this sectionЧто такое аугментация данных?#

То, как объект выглядит на фотографии, может меняться в зависимости от освещения, угла обзора, расстояния или фона. Когда модель компьютерного зрения проходит обучение, набор данных, на котором она учится, должен включать такие вариации, чтобы она могла эффективно работать в непредсказуемых условиях.

Аугментация данных расширяет обучающий набор, создавая дополнительные примеры из уже имеющихся у тебя изображений. Это делается путем внесения намеренных изменений, таких как поворот или отражение изображения, настройка яркости или обрезка его части.

Например, представь, что у тебя есть только одна фотография кошки. Если ты повернешь изображение или изменишь его яркость, ты сможешь создать несколько новых версий из одного снимка. Каждая версия выглядит немного иначе, но это все та же фотография кошки. Эти вариации помогают обучить модель тому, что объект может выглядеть по-разному, оставаясь при этом тем же самым объектом.

Рис 1. Пример аугментации изображения кошки (Источник)

Link to this sectionКак аугментация данных повышает производительность модели#

Во время обучения модели аугментация данных может быть встроена непосредственно в конвейер обучения. Вместо ручного создания и сохранения новых копий изображений случайные преобразования могут применяться при каждой загрузке изображения.

Это означает, что каждый раз модель видит немного измененную версию изображения: более яркую, зеркально отраженную или частично скрытую. Такие техники, как «случайное стирание» (random erasing), могут даже удалять небольшие области изображения, чтобы имитировать реальные ситуации, когда объект перекрыт или виден лишь частично.

Рис 2. Примеры аугментации на основе случайного стирания (Источник)

Возможность видеть множество разных версий одного и того же изображения позволяет модели понять, какие признаки являются важными, вместо того чтобы зависеть от одного идеального примера. Такое разнообразие формирует надежность модели ИИ, позволяя ей работать более стабильно в реальных условиях.

Link to this sectionРаспространенные техники аугментации данных#

Вот некоторые техники аугментации данных, используемые для внесения разнообразия в обучающие изображения:

• Геометрические преобразования: Эти методы изменяют пространственное положение объекта на изображении. Поворот, отражение, изменение размера, обрезка или сдвиг изображения позволяют модели понять, как объект может выглядеть под разными углами или с разного расстояния.
• Коррекция цвета и освещения: Освещение в реальном мире редко бывает постоянным. Изображения могут быть слишком яркими, темными или иметь искаженные цвета в зависимости от окружающей среды или используемой камеры. Регулировка яркости, контрастности, цветового тона и насыщенности позволяет моделям адаптироваться к этим визуальным изменениям и хорошо работать в разных сценах.
• Вариации качества изображения: Размытие или визуальный шум могут сделать изображения нечеткими. Добавление размытия или шума во время обучения помогает модели научиться справляться с размытием при движении, изображениями при плохом освещении или результатами работы камер низкого качества, что делает её менее чувствительной к несовершенствам визуальных данных.
• Аугментации на основе окклюзии: В реальной среде объекты часто частично перекрыты другими предметами. Это называется окклюзией изображения. Скрытие или маскирование небольших участков изображения во время обучения помогает модели учиться обнаруживать объекты, даже если видна только их часть.
• Аугментации с использованием нескольких изображений: Эти техники объединяют части нескольких изображений в один обучающий пример, что может увеличить количество видимых объектов и улучшить способность модели справляться со сложными или многолюдными сценами.

Рис 3. Пример аугментации с использованием нескольких изображений (Источник)

Link to this sectionАугментация данных стала проще с Python-пакетом Ultralytics#

Управление наборами данных, создание вариаций изображений и написание кода для преобразований могут добавить лишние шаги при создании приложений компьютерного зрения. Ultralytics Python package помогает упростить этот процесс, предоставляя единый интерфейс для обучения, запуска и развертывания моделей Ultralytics YOLO, таких как YOLO26. В рамках работы по оптимизации рабочих процессов обучения пакет включает встроенную и протестированную в Ultralytics аугментацию данных, оптимизированную для моделей YOLO.

Он также поддерживает полезные интеграции, которые устраняют необходимость в отдельных инструментах или написании собственного кода. В частности, для аугментации данных пакет интегрируется с Albumentations, широко используемой библиотекой для аугментации изображений. Эта интеграция позволяет применять аугментации автоматически во время обучения без необходимости в дополнительных скриптах.

Link to this sectionУправление аннотациями и аугментированными наборами данных#

Еще один фактор, влияющий на надежность модели, — это качество annotation. Чистые, точные метки, созданные и управляемые с помощью инструментов аннотирования, таких как Roboflow, помогают модели понять, где находятся объекты и как они выглядят.

Во время обучения аугментации данных, такие как отражения, обрезка и повороты, применяются динамически, а аннотации автоматически корректируются в соответствии с этими изменениями. Когда метки точны, этот процесс проходит гладко и предоставляет модели множество реалистичных примеров одной и той же сцены.

Если аннотации неточны или несогласованы, эти ошибки могут повторяться на аугментированных изображениях, что делает обучение менее эффективным. Начиная с точных аннотаций, ты предотвращаешь распространение таких ошибок и способствуешь повышению надежности модели.

Link to this sectionУлучшение приложений компьютерного зрения с помощью аугментации данных#

Давай разберем примеры того, как аугментация данных способствует надежности модели ИИ в реальных приложениях.

Link to this sectionПовышение точности обнаружения объектов в реальных условиях#

Синтетические изображения часто используются для обучения систем object detection, когда реальных данных недостаточно, они чувствительны или их трудно собрать. Они позволяют командам быстро создавать примеры продуктов, сред и ракурсов камеры без необходимости захвата каждого сценария в реальной жизни.

Однако синтетические наборы данных иногда могут выглядеть слишком «чистыми» по сравнению с реальными записями, где освещение меняется, объекты перекрывают друг друга, а фон содержит лишние детали. Аугментация данных помогает преодолеть этот разрыв, вводя реалистичные вариации, такие как изменение освещения, шумы или другое положение объектов, чтобы модель научилась справляться с условиями, с которыми она столкнется при развертывании.

Например, в недавнем исследовании модель YOLO11 обучалась исключительно на synthetic images, а аугментация данных была добавлена для введения дополнительных вариаций. Это сыграло роль в обучении модели более широкому распознаванию объектов. Она показала отличные результаты при тестировании на реальных изображениях, несмотря на то что во время обучения никогда не видела реальных данных.

Link to this sectionПовышение надежности решений в медицинской визуализации#

Наборы данных для медицинской визуализации часто ограничены, а сами сканы могут варьироваться в зависимости от типа оборудования, настроек визуализации или клинической среды. Различия в анатомии пациентов, углах съемки, освещении или визуальном шуме могут затруднить обучение моделей компьютерного зрения распознаванию паттернов, которые хорошо обобщаются между разными пациентами и клиниками.

Аугментация данных помогает решить эту проблему, создавая несколько вариаций одного и того же скана во время обучения, например, добавляя шум, слегка сдвигая изображение или применяя небольшие искажения. Эти изменения делают обучающие данные более репрезентативными для реальных клинических условий.

Например, в исследовании pediatric imaging исследователи использовали YOLO11 для анатомической сегментации и обучали её на аугментированных медицинских данных. Они ввели такие вариации, как добавленный шум, небольшие сдвиги позиции и искажения, чтобы сделать изображения более реалистичными.

Рис 4. Оригинальные и аугментированные педиатрические медицинские изображения (Источник)

Учась на этих вариациях, модель фокусировалась на значимых анатомических признаках, а не на поверхностных различиях. Это сделало результаты её сегментации более стабильными для разных сканов и случаев пациентов.

Link to this sectionОсновные выводы#

Сбор разнообразных данных — трудная задача, но аугментация данных позволяет моделям учиться в более широком диапазоне визуальных условий. Это приводит к повышению надежности модели при работе с перекрытиями, изменениями освещения и многолюдными сценами. В целом, это помогает им работать более надежно вне контролируемых условий обучения.

Присоединяйся к нашему сообществу и узнавай о последних разработках в области компьютерного зрения в нашем репозитории на GitHub. Посети наши страницы решений, чтобы узнать, как такие приложения, как ИИ в производстве и компьютерное зрение в здравоохранении, способствуют развитию, и ознакомься с нашими вариантами лицензирования, чтобы развивать свое следующее ИИ-решение.