Что такое синтетические данные в компьютерном зрении? Обзор

Данные всегда были движущей силой таких областей, как аналитика и искусственный интеллект (AI). Фактически способы сбора, создания и использования данных формируют будущее интеллектуальных систем. Например, беспилотные автомобили зависят от миллионов размеченных изображений и показаний датчиков — от дорожных знаков до движений пешеходов, — чтобы научиться безопасно ориентироваться на дорогах.

Одним из важнейших типов данных, обеспечивающих этот прогресс, особенно в таких областях, как автономный транспорт и безопасность, являются визуальные данные — изображения и видео.

В частности, область AI, позволяющая машинам интерпретировать эту визуальную информацию, называется компьютерным зрением. Она помогает системам понимать и анализировать визуальные входные данные подобно человеку, поддерживая такие задачи, как распознавание лиц, обнаружение дорожных знаков и анализ медицинских изображений.

Однако сбор масштабных и высококачественных наборов визуальных данных из реального мира может занимать много времени, требовать больших затрат и часто вызывать опасения по поводу конфиденциальности. Поэтому исследователи активно изучают концепцию использования синтетических данных.

Синтетические данные — это искусственно созданные визуальные данные, которые максимально похожи на реальные изображения и видео. Их создают с помощью таких методов, как 3D-моделирование, компьютерное моделирование и генеративный AI, включая генеративно-состязательные сети (GANs), которые изучают закономерности в реальных данных, чтобы создавать реалистичные новые примеры.

Ожидается, что синтетические данные вскоре будут играть критически важную роль в разработке AI: Gartner прогнозирует, что к 2030 году они станут важнее данных из реального мира. В этой статье мы рассмотрим, что такое синтетические данные в контексте компьютерного зрения, как их создают и где применяют в реальных сценариях. Давай начнём!

Что такое синтетические данные в компьютерном зрении?#

Представь, что ты хочешь обучить модель Vision AI обнаруживать объекты в различных условиях и окружении. Использование только данных из реального мира может быть сложным и порой ограничивающим.

Синтетические данные позволяют создать подходящий набор данных, содержащий объекты в различных искусственно созданных условиях. Используя такие инструменты, как 3D-моделирование и симуляции, разработчики могут генерировать изображения с точным контролем таких факторов, как освещение, углы обзора и расположение объектов. Это, в свою очередь, обеспечивает большую гибкость при обучении моделей по сравнению с данными из реального мира.

Синтетические данные особенно полезны, когда сбор данных из реального мира затруднён или невозможен. Например, для обучения модели распознаванию людей в самых разных позах — при беге, приседании или лёжа — потребовалось бы сделать тысячи фотографий в различных условиях, с разных ракурсов и при разном освещении.

С другой стороны, с помощью синтетических данных разработчики могут легко создавать такие вариации с точными метками, экономя время и усилия и одновременно повышая производительность модели.

Рис. 1. Синтетический набор данных с различными позами людей и вариантами освещения (источник).

Синтетические и реальные данные в AI#

Теперь подробнее рассмотрим различия между синтетическими и реальными данными. И те и другие имеют свои преимущества и недостатки при обучении моделей AI.

Например, синтетические данные полезны, когда реальные данные сложно собрать, но они могут не отражать каждую деталь реального мира. В то же время реальные данные более аутентичны, однако их бывает трудно получить, их разметка занимает много времени, и они могут не охватывать все возможные ситуации.

Объединяя синтетические и реальные данные, разработчики могут получить лучшее из обоих подходов. Такой баланс помогает моделям AI точнее обучаться, лучше обобщать знания на различные сценарии и снижать предвзятость.

Рис. 2. Синтетические и реальные данные в AI. Изображение автора.

Как создаются данные для моделей компьютерного зрения#

От создания виртуальных миров с помощью 3D-инструментов до генерации изображений с использованием генеративного AI — вот некоторые распространённые методы создания синтетических обучающих данных для моделей компьютерного зрения:

• 3D-моделирование: разработчики используют 3D-программы для создания цифровых объектов и сцен. Это позволяет полностью контролировать такие параметры, как освещение, углы обзора камеры и расположение объектов, и помогает генерировать реалистичные изображения людей, транспортных средств и окружающей среды.
• Симуляции: они воссоздают реальные ситуации, например дорожное движение или условия на производстве, с помощью движков на основе физических моделей. Симуляции полезны для безопасной генерации обучающих данных в таких областях, как робототехника и беспилотные автомобили.
• Генеративно-состязательные сети: GANs — это тип модели глубокого обучения, состоящей из двух сетей: одна создаёт изображения, а другая оценивает их. Вместе они генерируют чрезвычайно реалистичные изображения, например лица людей или виды улиц, обучаясь на реальных примерах.
• Процедурная генерация: этот метод использует заранее заданные правила или математические модели для автоматического создания сложных визуальных структур, таких как ландшафты, здания или текстуры. Его часто применяют в играх и симуляционных платформах; он позволяет создавать масштабные и разнообразные наборы данных при минимальном участии человека.
• Рандомизация домена: этот метод позволяет случайным образом изменять такие параметры, как освещение, цвета и формы объектов в синтетических сценах. Цель метода — помочь моделям сосредоточиться на действительно важных признаках, благодаря чему они лучше адаптируются к условиям реального мира.

Рис. 3. Примеры данных: (a) на основе 3D-моделей, (b) синтетические сцены с несколькими объектами и (c) изображения из реального набора данных (источник).

Обучение моделей Vision AI на синтетических данных#

Теперь, когда мы обсудили некоторые методы создания синтетических данных, рассмотрим, как они используются для обучения моделей AI.

После генерации синтетические данные обычно можно напрямую интегрировать в конвейер обучения так же, как данные из реального мира. Они обычно включают необходимые аннотации, такие как метки объектов, ограничивающие рамки или маски сегментации, поэтому их можно использовать для задач обучения с учителем, в которых модели учатся на размеченных парах «вход-выход», без необходимости ручной разметки.

Во время обучения модель обрабатывает синтетические изображения, чтобы научиться обнаруживать признаки, распознавать закономерности и классифицировать объекты. Эти данные можно использовать для создания начальной версии модели с нуля или для расширения существующего набора данных, что помогает повысить производительность модели.

Во многих рабочих процессах синтетические данные также используют для предварительного обучения, формируя у моделей широкое базовое понимание перед дообучением на реальных примерах. Аналогично, их применяют для расширения наборов данных с помощью контролируемых вариаций, таких как разные условия освещения, углы обзора или редкие классы объектов, чтобы улучшить обобщение и снизить переобучение.

Объединяя синтетические и реальные данные, команды могут обучать более устойчивые модели, которые хорошо работают в широком диапазоне условий, одновременно снижая зависимость от трудоёмкого и дорогостоящего ручного сбора данных.

Практическое применение синтетических данных в компьютерном зрении#

По мере того как синтетические данные становятся более практичными и доступными, мы начинаем видеть их внедрение в самых разных реальных сценариях использования Vision AI. Давай рассмотрим некоторые наиболее значимые применения компьютерного зрения, в которых их используют.

Использование синтетических данных для обнаружения объектов в беспилотных автомобилях#

Чтобы научить беспилотные автомобили безопасно ездить, необходимо обучать модели на широком спектре сценариев, включая редкие или опасные ситуации. Однако сбор данных из реального мира для таких пограничных случаев может быть сложным, а иногда и небезопасным. Синтетические данные помогают создавать сцены, в которых модели учатся обнаруживать объекты в сложных ситуациях. Они также могут имитировать различные конфигурации датчиков, что важно, поскольку не все беспилотные автомобили используют одинаковое оборудование.

Платформа NVIDIA’s DRIVE Sim — отличный пример такого подхода. Она создаёт высококачественные синтетические данные с использованием фотореалистичных 3D-моделей, виртуальных окружений и симуляций датчиков. Она также может генерировать изображения с разных ракурсов движения на основе одного изображения. Использование таких синтетических данных помогает сократить необходимость в дорогостоящем тестировании в реальном мире и при этом предоставляет модели необходимое разнообразие для эффективного обучения.

Рис. 4. Создание нескольких видов дороги на основе одного изображения (источник).

Снижение предвзятости в AI для медицинской визуализации с помощью синтетических данных#

Модели компьютерного зрения, такие как Ultralytics YOLO11, поддерживающие такие задачи, как обнаружение объектов и сегментация экземпляров, можно адаптировать для применения в медицинской визуализации. Однако обучающие данные из реального мира часто содержат предвзятость, поскольку могут недостаточно представлять пациентов из всех демографических групп.

Например, рак кожи реже диагностируют у людей с более тёмным тоном кожи, что приводит к недостатку данных для этих групп населения. Такой дисбаланс может способствовать ошибочным диагнозам и неравным результатам лечения, особенно в таких областях, как гистопатология, рентгенография грудной клетки и дерматология.

Синтетические изображения могут помочь сделать шаг к устранению этого пробела в данных. Генерируя дополнительные разнообразные примеры, такие как различные аномалии тканей, широкий спектр заболеваний лёгких и разные оттенки кожи с различными типами поражений, синтетические данные помогают повысить производительность моделей для недостаточно представленных групп.

Исследователи сейчас работают над созданием и проверкой синтетических наборов данных для поддержки этих целей. Они также изучают, как использовать синтетические данные для тестирования медицинских инструментов и стратегий лечения без обращения к реальным медицинским картам пациентов, ускоряя исследования и одновременно защищая конфиденциальность пациентов. Благодаря этой работе синтетические данные прокладывают путь к созданию более инклюзивных, точных и этичных медицинских AI-систем.

Развитие AI в сельском хозяйстве с помощью синтетических данных для точного земледелия#

Создание систем Vision AI для сельскохозяйственных приложений зависит от доступа к большим объёмам размеченных данных. Однако сбор и разметка изображений сельскохозяйственных культур, заболеваний и состояния полей занимают много времени, требуют больших затрат и часто ограничены такими факторами, как погода, вегетационные периоды или труднодоступность некоторых районов.

Эти проблемы затрудняют обучение моделей компьютерного зрения таким задачам, как обнаружение заболеваний растений, мониторинг посевов или прогнозирование урожайности. Здесь и помогают синтетические данные: они имитируют различные условия ведения сельского хозяйства и создают полезные обучающие примеры.

Рис. 5. Использование синтетических изображений для улучшения обнаружения заболеваний (источник).

Основные выводы#

Использование синтетических данных — важный шаг вперёд в обучении моделей AI, особенно для систем компьютерного зрения в областях, где данные из реального мира ограничены или труднодоступны. Вместо того чтобы полагаться только на реальные фотографии или видео, сбор которых может быть дорогим, длительным или вызывать опасения по поводу конфиденциальности, мы можем создавать реалистичные размеченные изображения по требованию с помощью синтетических данных.

Это упрощает обучение моделей Vision AI таким задачам, как беспилотное вождение, обнаружение заболеваний или мониторинг посевов. По мере дальнейшего развития AI синтетические данные будут играть ещё более значительную роль в ускорении инноваций и повышении доступности технологий в различных отраслях.

Узнай больше об AI в нашем репозитории GitHub и присоединяйся к нашему растущему сообществу. Узнай о влиянии таких направлений, как AI в беспилотных автомобилях и компьютерное зрение в сельском хозяйстве. Изучи наши варианты лицензирования и воплоти свои проекты Vision AI в жизнь.