Повышение устойчивости моделей ИИ с помощью аугментации данных

Тестирование — важнейшая часть создания любого технологического решения. Оно показывает командам, как система работает на самом деле, до её запуска, и позволяет заранее устранять проблемы. Это справедливо для многих областей, включая AI, где от моделей после развертывания ожидают работы в непредсказуемых условиях реального мира.

Например, компьютерное зрение — это направление AI, которое обучает машины понимать изображения и видео. Модели компьютерного зрения, такие как Ultralytics YOLO26, поддерживают такие задачи, как обнаружение объектов, сегментация экземпляров и классификация изображений.

Их можно использовать во многих отраслях для таких задач, как мониторинг пациентов, анализ дорожного движения, автоматизированная оплата покупок и контроль качества на производстве. Однако даже при наличии продвинутых моделей и высококачественных обучающих данных решения на основе AI для компьютерного зрения могут испытывать трудности, сталкиваясь с изменениями реального мира, такими как перемены освещения, движение или частично закрытые объекты.

Это происходит потому, что модели обучаются на примерах, которые получают во время обучения. Если раньше они не сталкивались с такими условиями, как блики, размытие в движении или частичная видимость, то с меньшей вероятностью будут правильно распознавать объекты в подобных ситуациях.

Один из способов повысить устойчивость модели — использовать аугментацию данных. Вместо сбора больших объёмов новых данных инженеры могут вносить небольшие и осмысленные изменения в уже существующие изображения, например менять освещение, обрезать или смешивать изображения. Это помогает модели учиться распознавать одни и те же объекты в более широком диапазоне ситуаций.

В этой статье мы рассмотрим, как аугментация данных повышает устойчивость моделей и надёжность систем AI для компьютерного зрения при развертывании за пределами контролируемых условий. Начнём!

Как проверить устойчивость модели#

Прежде чем перейти к аугментации данных, давай разберёмся, как определить, действительно ли модель компьютерного зрения готова к использованию в реальном мире.

Устойчивая модель продолжает хорошо работать даже при изменении условий, а не только на чистых изображениях с идеально размеченными данными. Вот несколько практических факторов, которые стоит учитывать при оценке устойчивости AI-модели:

• Изменения освещения: Модели могут вести себя по-разному при ярком или слабом освещении, бликах или тенях, что может влиять на уверенность обнаружения объектов.
• Частичное перекрытие: В повседневных сценах объекты часто закрыты другими предметами или видны лишь частично. Более устойчивая модель способна распознавать их даже при недостатке визуальной информации.
• Перегруженные сцены: Среда с большим количеством перекрывающихся объектов может усложнять обнаружение. Модели, которые хорошо работают в таких условиях, обычно надёжнее в сложных ситуациях.

Хорошие результаты на чистых, идеально снятых изображениях не всегда означают высокую производительность в реальном мире. Регулярное тестирование в различных условиях помогает понять, насколько хорошо модель будет работать после развертывания.

Что такое аугментация данных?#

То, как объект выглядит на фотографии, может зависеть от освещения, угла съёмки, расстояния или фона. При обучении модели компьютерного зрения набор данных, на котором она учится, должен включать такие вариации, чтобы модель хорошо работала в непредсказуемой среде.

Аугментация данных расширяет обучающий набор, создавая дополнительные примеры на основе уже имеющихся изображений. Для этого применяются преднамеренные изменения, такие как поворот или отражение изображения, изменение яркости или обрезка его части.

Например, представь, что у тебя есть только одна фотография кошки. Если повернуть изображение или изменить его яркость, можно создать несколько новых версий из одной фотографии. Каждая версия выглядит немного иначе, но всё ещё является фотографией той же кошки. Такие вариации помогают объяснить модели, что объект может выглядеть по-разному, оставаясь тем же объектом.

Рис. 1. Пример аугментации изображения кошки (источник)

Как аугментация данных повышает производительность модели#

Во время обучения модели аугментацию данных можно встроить непосредственно в конвейер обучения. Вместо ручного создания и хранения новых копий изображений к каждому изображению при загрузке можно применять случайные преобразования.

Это означает, что модель каждый раз видит немного отличающуюся версию изображения: более яркую, отражённую или частично скрытую. Такие методы, как случайное стирание, могут даже удалять небольшие области изображения, имитируя реальные ситуации, в которых объект закрыт или виден лишь частично.

Рис. 2. Примеры аугментации на основе случайного стирания (источник)

Просмотр множества разных версий одного изображения позволяет модели изучать важные признаки, а не зависеть от одного идеального примера. Такое разнообразие повышает устойчивость AI-модели, помогая ей надёжнее работать в условиях реального мира.

Распространённые методы аугментации данных#

Вот несколько методов аугментации данных, используемых для добавления вариативности в обучающие изображения:

• Геометрические преобразования: Эти методы изменяют пространственное положение объекта на изображении. Поворот, отражение, изменение размера, обрезка или сдвиг изображения позволяют модели понять, как объект может выглядеть под разными углами или на разных расстояниях.
• Изменение цвета и освещения: Освещение в реальном мире редко бывает постоянным. Изображения могут быть слишком яркими, слишком тёмными или иметь слегка искажённые цвета в зависимости от окружающей среды или используемой камеры. Изменение яркости, контрастности, оттенка и насыщенности позволяет моделям справляться с такими визуальными изменениями и хорошо работать в разных сценах.
• Изменения качества изображения: Размытие или визуальный шум могут сделать изображения нечёткими. Добавление размытия или шума во время обучения помогает модели справляться с размытием в движении, изображениями при слабом освещении или результатами камер низкого качества, снижая её чувствительность к несовершенствам изображения.
• Аугментация на основе перекрытий: В реальной среде объекты часто частично закрыты другими объектами. Это называют перекрытием изображения. Скрытие или маскирование небольших областей изображения во время обучения помогает модели учиться обнаруживать объекты, даже когда видна лишь их часть.
• Аугментация с использованием нескольких изображений: Эти методы объединяют части нескольких изображений в один обучающий пример, что может увеличить количество видимых объектов и улучшить способность модели работать со сложными или перегруженными сценами.

Рис. 3. Пример аугментации с использованием нескольких изображений (источник)

Простая аугментация данных с помощью пакета Ultralytics Python#

Управление наборами данных, создание вариантов изображений и написание кода преобразований могут добавить дополнительные этапы в разработку приложения для компьютерного зрения. Пакет Ultralytics Python упрощает этот процесс, предоставляя единый интерфейс для обучения, запуска и развертывания моделей Ultralytics YOLO, таких как YOLO26. В рамках упрощения рабочих процессов обучения пакет включает встроенную аугментацию данных, протестированную Ultralytics и оптимизированную для моделей YOLO.

Он также поддерживает полезные интеграции, устраняющие необходимость в отдельных инструментах или пользовательском коде. В частности, для аугментации данных пакет интегрируется с Albumentations — широко используемой библиотекой аугментации изображений. Благодаря этой интеграции аугментации можно применять автоматически во время обучения без дополнительных скриптов или пользовательского кода.

Управление аннотациями и аугментированными наборами данных#

Ещё один фактор, влияющий на устойчивость модели, — качество аннотаций. Чистые и точные метки, созданные и управляемые с помощью таких инструментов аннотирования, как Roboflow, помогают модели понимать, где находятся объекты и как они выглядят.

Во время обучения такие аугментации данных, как отражение, обрезка и поворот, применяются динамически, а аннотации автоматически корректируются в соответствии с этими изменениями. Когда метки точны, этот процесс проходит гладко и предоставляет модели множество реалистичных примеров одной и той же сцены.

Если аннотации неточны или непоследовательны, эти ошибки могут повторяться на аугментированных изображениях, из-за чего обучение станет менее эффективным. Начало работы с точными аннотациями предотвращает распространение таких ошибок и способствует повышению устойчивости модели.

Повышение эффективности приложений AI для компьютерного зрения с помощью аугментации данных#

Далее рассмотрим примеры того, как аугментация данных повышает устойчивость AI-моделей в реальных приложениях.

Повышение точности обнаружения объектов в реальных условиях#

Синтетические изображения часто используют для обучения систем обнаружения объектов, когда реальные данные ограничены, конфиденциальны или их трудно собрать. Они позволяют командам быстро создавать примеры продуктов, окружающей среды и ракурсов камеры без необходимости снимать каждый возможный сценарий в реальной жизни.

Однако синтетические наборы данных иногда выглядят слишком чистыми по сравнению с реальными видеозаписями, где освещение меняется, объекты перекрываются, а в сценах присутствуют посторонние детали фона. Аугментация данных помогает сократить этот разрыв, добавляя реалистичные вариации, такие как различия в освещении, шуме или расположении объектов, чтобы модель училась справляться с условиями, с которыми столкнётся после развертывания.

Например, в недавнем исследовании модель Ultralytics YOLO11 обучали исключительно на синтетических изображениях, а для добавления дополнительных вариаций использовали аугментацию данных. Это помогло модели научиться распознавать объекты более обобщённо. При тестировании на реальных изображениях она показала хорошие результаты, хотя во время обучения никогда не видела данных из реального мира.

Повышение надёжности решений для медицинской визуализации#

Наборы медицинских изображений часто ограничены, а сами снимки могут различаться в зависимости от типа оборудования, настроек визуализации или клинической среды. Различия в анатомии пациентов, ракурсах, освещении или визуальном шуме могут затруднять обучение моделей компьютерного зрения закономерностям, которые хорошо обобщаются на разных пациентов и больницы.

Аугментация данных помогает решить эту проблему, создавая во время обучения несколько вариантов одного и того же снимка, например добавляя шум, слегка сдвигая изображение или применяя небольшие искажения. Благодаря этим изменениям обучающие данные лучше отражают реальные клинические условия.

Например, в исследовании детской медицинской визуализации исследователи использовали Ultralytics YOLO11 для анатомической сегментации и обучали модель на аугментированных медицинских данных. Они добавляли такие вариации, как шум, небольшие изменения положения и лёгкие искажения, чтобы сделать изображения более реалистичными.

Рис. 4. Исходные и аугментированные медицинские изображения детей (источник)

Обучаясь на этих вариациях, модель сосредотачивалась на значимых анатомических признаках, а не на поверхностных различиях. Благодаря этому результаты сегментации стали стабильнее на разных снимках и для разных пациентов.

Основные выводы#

Собирать разнообразные данные сложно, но аугментация данных позволяет моделям учиться на более широком диапазоне визуальных условий. В результате повышается устойчивость модели при работе с перекрытиями, изменениями освещения и перегруженными сценами. В целом это помогает моделям надёжнее работать за пределами контролируемых условий обучения.

Присоединяйся к нашему сообществу и следи за последними достижениями в области AI для компьютерного зрения в нашем репозитории GitHub. Посети страницы наших решений, чтобы узнать, как такие приложения, как AI в производстве и компьютерное зрение в здравоохранении, способствуют развитию отраслей, и ознакомься с вариантами лицензирования, чтобы реализовать своё следующее AI-решение.