Что такое синтетические данные в компьютерном зрении? Обзор

Данные всегда были одним из ключевых факторов в таких областях, как аналитика и искусственный интеллект (AI). То, как мы собираем, создаем и используем данные, формирует будущее интеллектуальных систем. Например, беспилотным автомобилям нужны миллионы размеченных изображений и показаний датчиков — от дорожных знаков до движений пешеходов, — чтобы научиться безопасно ориентироваться на дорогах.

Один из важнейших типов данных, лежащих в основе этого прогресса, особенно в таких сферах, как автономный транспорт и безопасность, — это визуальные данные, например изображения и видео.

В частности, область ИИ, позволяющая машинам интерпретировать эту визуальную информацию, называется компьютерным зрением. Она помогает системам понимать и анализировать визуальные данные подобно людям и решать такие задачи, как распознавание лиц, обнаружение дорожных знаков и анализ медицинских изображений.

Однако сбор больших высококачественных наборов визуальных данных из реального мира может занимать много времени, обходиться дорого и часто вызывать опасения по поводу конфиденциальности. Поэтому исследователи активно изучают возможности использования синтетических данных.

Синтетические данные — это искусственно созданные визуальные материалы, которые точно имитируют реальные изображения и видео. Их создают с помощью таких методов, как 3D-моделирование, компьютерное моделирование и генеративный ИИ, включая генеративно-состязательные сети (GANs), которые изучают закономерности в реальных данных и создают реалистичные примеры.

Ожидается, что в ближайшее время синтетические данные сыграют ключевую роль в разработке ИИ: по прогнозу Gartner, к 2030 году они станут важнее данных из реального мира. В этой статье мы расскажем, что такое синтетические данные в контексте компьютерного зрения, как их создают и где применяют на практике. Давай начнем!

Что такое синтетические данные в компьютерном зрении?#

Представь, что ты хочешь обучить модель визуального ИИ обнаруживать объекты в самых разных условиях и средах. Использовать только данные из реального мира может быть сложно, а иногда и ограничительно.

При этом с помощью синтетических данных можно создать подходящий набор данных с объектами в различных искусственно смоделированных условиях. Используя такие инструменты, как 3D-моделирование и симуляции, разработчики могут создавать изображения, точно управляя такими факторами, как освещение, ракурс и расположение объектов. Это дает больше гибкости при обучении моделей, чем использование реальных данных.

Синтетические данные особенно полезны, когда собирать реальные данные трудно или невозможно. Например, чтобы обучить модель распознавать людей в самых разных позах — бегущих, присевших или лежащих, — пришлось бы сделать тысячи фотографий в различных условиях, ракурсах и при разном освещении.

С другой стороны, с помощью синтетических данных разработчики могут легко создавать такие варианты с точной разметкой, экономя время и силы и повышая производительность моделей.

Рис. 1. Синтетический набор данных с разными позами людей и вариантами освещения (источник).

Синтетические и реальные данные в ИИ#

Теперь подробнее рассмотрим различия между синтетическими данными и данными из реального мира. У обоих подходов есть преимущества и недостатки при обучении моделей ИИ.

Например, синтетические данные полезны, когда реальные данные сложно собрать, но они могут не передавать всех мельчайших деталей реальной жизни. В то же время реальные данные достовернее, однако их бывает трудно получить и долго размечать, к тому же они могут не охватывать все возможные ситуации.

Объединяя синтетические данные с реальными, разработчики получают преимущества обоих подходов. Такое сочетание помогает моделям ИИ точнее обучаться, лучше обобщать знания для разных сценариев и снижать смещение.

Рис. 2. Синтетические и реальные данные в ИИ. Изображение автора.

Как создают данные для моделей компьютерного зрения#

От создания виртуальных миров с помощью 3D-инструментов до генерации изображений с помощью генеративного ИИ — вот распространенные методы создания синтетических обучающих данных для моделей компьютерного зрения:

• 3D-моделирование: разработчики используют 3D-программы для создания цифровых объектов и сцен. Это позволяет полностью контролировать освещение, ракурсы камеры и расположение объектов, а также создавать реалистичные изображения людей, транспортных средств и окружающей среды.
• Симуляции: с помощью физических движков они воспроизводят ситуации из реального мира, например дорожное движение или условия на производстве. Симуляции полезны для безопасного создания обучающих данных в таких областях, как робототехника и беспилотные автомобили.
• Генеративно-состязательные сети: GANs — это тип моделей глубокого обучения, состоящий из двух сетей: одна создает изображения, а другая оценивает их. Обучаясь на реальных примерах, эти сети вместе генерируют очень реалистичные изображения, например лица людей или виды улиц.
• Процедурная генерация: этот метод использует заранее заданные правила или математические модели, чтобы автоматически создавать сложные визуальные структуры, например рельеф, здания или текстуры. Его часто применяют в играх и симуляционных платформах; он позволяет создавать большие и разнообразные наборы данных с минимальным участием человека.
• Рандомизация домена: с ее помощью можно случайным образом менять такие параметры синтетических сцен, как освещение, цвета и формы объектов. Цель этого метода — помочь моделям сосредоточиться на действительно важных признаках и лучше адаптироваться к условиям реального мира.

Рис. 3. Примеры данных: (a) на основе 3D-моделей, (b) синтетические сцены с несколькими объектами и (c) изображения из реального набора данных (источник).

Обучение моделей визуального ИИ на синтетических данных#

Теперь, когда мы обсудили разные способы создания синтетических данных, разберемся, как их используют для обучения моделей ИИ.

После создания синтетические данные обычно можно напрямую включить в конвейер обучения — так же, как реальные данные. Как правило, они уже содержат необходимые аннотации, например метки объектов, ограничивающие рамки или маски сегментации. Поэтому их можно использовать для задач обучения с учителем, в которых модели учатся на размеченных парах входных и выходных данных, без ручной разметки.

Во время обучения модель обрабатывает синтетические изображения, учится обнаруживать признаки, распознавать закономерности и классифицировать объекты. Эти данные можно использовать для создания начальной версии модели с нуля или для расширения существующего набора данных, что помогает повысить производительность модели.

Во многих рабочих процессах синтетические данные также используют для предварительного обучения: модели получают широкую базовую подготовку, прежде чем их дообучат на реальных примерах. Кроме того, ими дополняют наборы данных, добавляя контролируемые варианты — например, разные условия освещения и ракурсы или редкие классы объектов, — чтобы улучшить обобщающую способность и снизить переобучение.

Объединяя синтетические и реальные данные, команды могут обучать более надежные модели, которые хорошо работают в самых разных условиях, и при этом меньше зависеть от дорогостоящего и трудоемкого ручного сбора данных.

Применение синтетических данных в компьютерном зрении на практике#

По мере того как синтетические данные становятся практичнее и доступнее, мы видим, как их внедряют в самые разные реальные сценарии применения визуального ИИ. Рассмотрим наиболее значимые применения компьютерного зрения, где они уже используются.

Применение синтетических данных для обнаружения объектов в автономных транспортных средствах#

Чтобы научить беспилотные автомобили безопасно ездить, нужно обучать модели на множестве сценариев, включая редкие или опасные ситуации. Однако сбор реальных данных для таких нестандартных случаев может быть сложным, а иногда и небезопасным. Синтетические данные помогают создавать сцены, в которых модели учатся обнаруживать объекты в сложных условиях. Они также позволяют имитировать разные конфигурации датчиков, что важно, поскольку в беспилотных автомобилях используется разное оборудование.

Отличный пример — платформа NVIDIA DRIVE Sim. Она создает высококачественные синтетические данные с помощью фотореалистичных 3D-моделей, виртуальных сред и симуляции датчиков. Кроме того, она может создавать изображения с разных ракурсов движения на основе одного снимка. Использование таких синтетических данных снижает потребность в дорогостоящих испытаниях в реальных условиях, сохраняя при этом разнообразие, необходимое модели для эффективного обучения.

Рис. 4. Создание нескольких видов дорожной обстановки на основе одного изображения (источник).

Снижение смещения в ИИ для медицинской визуализации с помощью синтетических данных#

Модели компьютерного зрения, например Ultralytics YOLO11, поддерживают такие задачи, как обнаружение объектов и сегментация экземпляров, и могут обучаться на заказ для медицинских приложений. Однако обучающие данные из реального мира часто содержат смещения, поскольку в них могут быть недостаточно представлены пациенты из разных демографических групп.

Например, рак кожи реже диагностируют у людей с более темным оттенком кожи, поэтому данных об этих группах недостаточно. Такой дисбаланс может привести к ошибочным диагнозам и неравенству в медицинском обслуживании, особенно в таких областях, как гистопатология, рентгенография грудной клетки и дерматология.

Синтетические изображения могут помочь сократить этот пробел в данных. Создавая дополнительные разнообразные примеры, например различные аномалии тканей, широкий спектр заболеваний легких и разные оттенки кожи с различными типами поражений, можно повысить производительность моделей для недостаточно представленных групп.

Исследователи уже работают над созданием и проверкой синтетических наборов данных для достижения этих целей. Они также изучают, как синтетические данные можно использовать для тестирования медицинских инструментов и стратегий лечения без использования реальных историй болезни. Это помогает ускорить исследования и защитить конфиденциальность пациентов. Благодаря этой работе синтетические данные открывают путь к созданию более инклюзивных, точных и этичных медицинских систем ИИ.

Развитие ИИ в сельском хозяйстве с помощью синтетических данных для точного земледелия#

Для создания систем визуального ИИ в сельском хозяйстве нужны большие объемы размеченных данных. Однако сбор и разметка изображений культур, болезней и условий на полях занимают много времени, обходятся дорого и часто ограничены такими факторами, как погода, сезоны выращивания или труднодоступность отдельных районов.

Из-за этих проблем обучать модели компьютерного зрения таким задачам, как обнаружение болезней растений, мониторинг посевов или прогнозирование урожайности, становится сложно. Здесь помогают синтетические данные: с их помощью можно имитировать разные условия ведения сельского хозяйства и создавать полезные обучающие примеры.

Рис. 5. Использование синтетических изображений для улучшения обнаружения болезней (источник).

Главные выводы#

Использование синтетических данных — важный шаг вперед в обучении моделей ИИ, особенно для систем компьютерного зрения в областях, где реальные данные ограничены или их трудно получить. Вместо того чтобы полагаться только на реальные фотографии и видео, которые могут быть дорогостоящими, сбор которых занимает много времени и которые могут вызывать опасения по поводу конфиденциальности, мы можем создавать реалистичные размеченные изображения по запросу.

Синтетические данные упрощают обучение моделей визуального ИИ таким задачам, как автономное вождение, обнаружение болезней и мониторинг посевов. По мере развития ИИ синтетические данные будут играть все более важную роль в ускорении инноваций и повышении доступности технологий в разных отраслях.

Узнай больше об ИИ в нашем репозитории на GitHub и присоединяйся к нашему растущему сообществу. Оцени потенциал таких решений, как ИИ в автономных транспортных средствах и компьютерное зрение в сельском хозяйстве. Ознакомься с нашими вариантами лицензирования и воплоти проекты визуального ИИ в жизнь.