Что такое синтетические данные в компьютерном зрении? Обзор

Данные всегда были движущей силой в таких областях, как аналитика и искусственный интеллект (ИИ). По сути, то, как мы собираем, генерируем и используем данные, определяет будущее интеллектуальных систем. Например, беспилотным автомобилям требуются миллионы размеченных изображений и показаний датчиков — от дорожных знаков до перемещений пешеходов, — чтобы научиться безопасно ориентироваться на дорогах.

Одним из важнейших типов данных, обеспечивающих этот прогресс, особенно в таких сферах, как автономные транспортные средства и безопасность, являются визуальные данные, такие как изображения и видео.

В частности, область ИИ, позволяющая машинам интерпретировать эту визуальную информацию, называется computer vision. Она помогает системам понимать и анализировать визуальные входные данные подобно тому, как это делают люди, поддерживая такие задачи, как распознавание лиц, обнаружение дорожных знаков и анализ медицинских изображений.

Однако сбор крупномасштабных и высококачественных визуальных наборов данных в реальном мире может быть трудоемким, дорогостоящим и часто вызывает проблемы с конфиденциальностью. Именно поэтому исследователи активно изучают концепцию использования синтетических данных.

Synthetic data относится к искусственно созданным визуальным материалам, которые максимально точно имитируют реальные изображения и видео. Они создаются с помощью таких методов, как 3D-моделирование, компьютерное моделирование и методы генеративного ИИ, например Generative Adversarial Networks (GANs), которые обучаются на закономерностях реальных данных для создания реалистичных новых примеров.

Ожидается, что синтетические данные вскоре будут играть критически важную роль в AI development. Gartner прогнозирует, что к 2030 году они станут даже важнее, чем данные из реального мира. В этой статье мы рассмотрим, что представляют собой синтетические данные в контексте компьютерного зрения, как они генерируются и где применяются в реальных сценариях. Начнем!

Link to this sectionЧто такое синтетические данные в компьютерном зрении?#

Представь, что ты хочешь обучить vision AI model обнаруживать объекты в различных условиях и средах. Опора только на данные из реального мира может оказаться сложной и иногда ограничивающей.

В то же время синтетические данные можно использовать для создания подходящего набора данных, содержащего объекты в различных искусственно созданных условиях. Используя такие инструменты, как 3D modeling и симуляции, разработчики могут генерировать изображения с точным контролем таких факторов, как освещение, углы съемки и расположение объектов. Это, в свою очередь, обеспечивает большую гибкость для обучения моделей, чем данные реального мира.

Синтетические данные особенно полезны, когда сбор данных из реального мира затруднен или невозможен. Например, для обучения модели распознаванию людей в широком диапазоне поз — таких как бег, приседание или лежачее положение — потребовалось бы сделать тысячи фотографий в различных условиях, ракурсах и при разном освещении.

С другой стороны, с помощью синтетических данных разработчики могут легко создавать такие вариации с точной разметкой, экономя время и усилия, одновременно повышая производительность модели.

Рис 1. Синтетический набор данных с различными позами человека и изменениями освещения (source).

Link to this sectionСинтетические против реальных данных в ИИ#

Давай подробнее рассмотрим различия между синтетическими и реальными данными. У обоих типов есть свои плюсы и минусы, когда речь заходит о training AI models.

Например, синтетические данные полезны, когда реальные данные сложно собрать, но они могут не улавливать каждую мелкую деталь, встречающуюся в реальной жизни. В то же время реальные данные более аутентичны, но их бывает трудно найти, разметка занимает много времени, и они могут охватывать не каждую ситуацию.

Комбинируя синтетические и реальные данные, разработчики получают лучшее из обоих миров. Этот баланс помогает ИИ-моделям обучаться точнее, лучше обобщать данные в различных сценариях и снижать предвзятость.

Рис 2. Синтетические против реальных данных в ИИ. Изображение от автора.

Link to this sectionВзгляд на генерацию данных для моделей компьютерного зрения#

От создания виртуальных миров с помощью 3D-инструментов до генерации изображений с помощью генеративного ИИ — вот некоторые распространенные методы, используемые для создания синтетических training data для моделей компьютерного зрения:

• 3D-моделирование: Разработчики используют 3D-программное обеспечение для создания цифровых объектов и сцен. Это позволяет полностью контролировать такие вещи, как освещение, углы камеры и расположение объектов, и полезно для создания реалистичных изображений людей, транспортных средств и окружения.
• Симуляции: Они воссоздают реальные ситуации, такие как дорожное движение или заводские условия, с использованием физических движков. Симуляции полезны для безопасной генерации обучающих данных в таких областях, как робототехника и беспилотные автомобили.
• Генеративно-состязательные сети: GAN представляют собой тип модели глубокого обучения, состоящий из двух сетей: одной, которая создает изображения, и второй, которая их оценивает. Вместе они генерируют высокореалистичные изображения, такие как человеческие лица или виды улиц, обучаясь на реальных примерах.
• Процедурная генерация: Этот метод использует предопределенные правила или математические модели для автоматической генерации сложных визуальных структур, таких как ландшафт, здания или текстуры. Он часто используется в игровых и симуляционных платформах и может создавать крупномасштабные, разнообразные наборы данных с минимальным участием человека.
• Доменная рандомизация: Этот метод позволяет случайным образом изменять такие параметры, как освещение, цвета и формы объектов в синтетических сценах. Цель этой техники — помочь моделям сосредоточиться на том, что действительно важно, делая их более адаптируемыми к условиям реального мира.

Рис 3. Примеры данных: (a) на основе 3D-моделей, (b) синтетические сцены с несколькими объектами и (c) изображения из реальных наборов данных (source).

Link to this sectionОбучение моделей Vision AI с использованием синтетических данных#

Теперь, когда мы обсудили некоторые методы создания синтетических данных, давай пройдемся по тому, как они используются для обучения ИИ-моделей.

После генерации синтетические данные обычно можно интегрировать напрямую в конвейер обучения так же, как и реальные данные. Они, как правило, включают необходимую аннотацию, такую как метки объектов, bbox или маски сегментации, что означает, что их можно использовать для задач обучения с учителем, где модели учатся на размеченных парах вход-выход без необходимости ручной разметки.

Во время обучения модель обрабатывает синтетические изображения, чтобы научиться обнаруживать признаки, распознавать закономерности и классифицировать объекты. Эти данные можно использовать для создания начальной версии модели с нуля или для дополнения существующего набора данных, что помогает улучшить производительность модели.

Во многих рабочих процессах синтетические данные также используются для предварительного обучения, предоставляя моделям широкое фундаментальное понимание перед их донастройкой на реальных примерах. Аналогичным образом они используются для расширения наборов данных путем внесения контролируемых вариаций, таких как различные условия освещения, углы съемки или редкие классы объектов, чтобы улучшить обобщающую способность и уменьшить переобучение.

Комбинируя синтетические и реальные данные, команды могут обучать более надежные модели, которые эффективно работают в самых разных условиях, при этом снижая зависимость от трудоемких и дорогостоящих усилий по ручному сбору данных.

Link to this sectionРеальные применения синтетических данных в компьютерном зрении#

По мере того как синтетические данные становятся более практичными и доступными, мы начинаем видеть их внедрение в различных реальных сценариях использования vision AI. Давай рассмотрим некоторые из наиболее важных applications in computer vision, где они применяются.

Link to this sectionИспользование синтетических данных для обнаружения объектов в автономных транспортных средствах#

Обучение беспилотных автомобилей безопасному вождению требует тренировки моделей на широком спектре сценариев, включая редкие или опасные ситуации. Однако сбор данных реального мира для таких крайних случаев бывает сложным и иногда небезопасным. Синтетические данные могут помочь создавать сцены, в которых модели могут научиться detect объекты в сложных ситуациях. Они также могут имитировать различные конфигурации сенсоров, что полезно, так как не все беспилотные автомобили используют одинаковое оборудование.

Платформа NVIDIA’s DRIVE Sim — отличный пример этого. Она создает высококачественные синтетические данные с использованием фотореалистичных 3D-моделей, виртуальных сред и симуляций сенсоров. Она также может генерировать изображения нескольких ракурсов вождения из одного изображения. Использование таких синтетических данных помогает сократить потребность в дорогостоящем тестировании в реальном мире, при этом предоставляя модели разнообразие, необходимое для эффективного обучения.

Рис 4. Создание нескольких видов вождения из одного изображения (source).

Link to this sectionСнижение предвзятости в ИИ для медицинской визуализации с помощью синтетических данных#

Модели компьютерного зрения, такие как Ultralytics YOLO11, поддерживающие задачи обнаружения объектов и сегментации экземпляров, могут быть специально обучены для задач медицинской визуализации. Однако реальные данные для обучения часто содержат предвзятость, так как они могут неадекватно представлять пациентов из всех демографических групп.

Например, skin cancer реже диагностируется у лиц с более темным цветом кожи, что приводит к ограниченности данных для этих популяций. Этот дисбаланс может привести к ошибочным диагнозам и неравным результатам медицинского обслуживания, особенно в таких областях, как гистопатология, рентгенография грудной клетки и дерматология.

Синтетические изображения могут сыграть свою роль в сокращении этого разрыва в данных. Генерируя дополнительные, разнообразные примеры, такие как различные патологии тканей, широкий спектр заболеваний легких и типы кожи с различными видами поражений, синтетические данные могут помочь улучшить производительность модели среди недостаточно представленных групп.

Исследователи в настоящее время работают над разработкой и проверкой синтетических наборов данных для достижения этих целей. Они также изучают, как синтетические данные могут быть использованы для test medical tools и стратегий лечения без опоры на реальные записи пациентов, помогая ускорить исследования при защите конфиденциальности пациентов. Благодаря этой работе синтетические данные прокладывают путь к более инклюзивным, точным и этичным медицинским системам ИИ.

Link to this sectionРазвитие сельскохозяйственного ИИ с помощью синтетических данных для точного земледелия#

Создание Vision AI систем для сельскохозяйственных целей зависит от доступа к большим объемам размеченных данных. Однако сбор и разметка фотографий сельскохозяйственных культур, болезней и состояния полей — процесс медленный, дорогой и часто ограничен такими факторами, как погода, вегетационный период или сложность доступа к определенным территориям.

Эти проблемы затрудняют обучение моделей компьютерного зрения для выполнения таких задач, как обнаружение болезней растений, monitoring crops или прогнозирование урожайности. Вот где могут помочь синтетические данные — имитируя различные условия ведения сельского хозяйства для генерации полезных примеров для обучения.

Рис 5. Использование синтетических изображений для улучшения обнаружения болезней (source).

Link to this sectionОсновные выводы#

Использование синтетических данных представляет собой важный шаг вперед в обучении ИИ-моделей, особенно для систем компьютерного зрения в областях, где данные из реального мира ограничены или их трудно получить. Вместо того чтобы полагаться исключительно на реальные фотографии или видео, которые могут быть дорогими, отнимать много времени или вызывать опасения по поводу конфиденциальности, синтетические данные позволяют нам генерировать реалистичные, размеченные изображения по запросу.

Это облегчает обучение vision AI моделей для таких задач, как автономное вождение, обнаружение болезней или мониторинг урожая. По мере того как ИИ продолжает развиваться, синтетические данные будут играть еще большую роль в ускорении инноваций и улучшении доступности технологий в различных отраслях.

Узнай больше об ИИ в нашем GitHub repository и присоединяйся к нашему растущему community. Узнай о влиянии таких приложений, как AI in autonomous vehicles и computer vision in agriculture. Ознакомься с нашими licensing опциями и воплощай свои проекты в области vision AI в жизнь.