Лучшие инструменты для создания синтетических данных для обучения моделей компьютерного зрения

Лучший инструмент для создания синтетических данных для компьютерного зрения зависит от того, чего не хватает в твоём реальном наборе данных. Инструменты 3D-симуляции, например NVIDIA Isaac Sim с Omniverse Replicator и BlenderProc, создают новые сцены с готовыми метками. Генеративные инструменты, например NVIDIA Cosmos и функция Generate Similar Images в Ultralytics Platform, добавляют вариативность к уже имеющимся изображениям. Библиотеки аугментации, например Albumentations, преобразуют реальные изображения во время обучения.

Какой бы инструмент ты ни выбрал, оценивай его на реальных изображениях, которые модель ещё не видела. В тестировании Ultralytics и NVIDIA на наборах данных с промышленными дефектами добавление сгенерированных дефектов повысило mAP₇₅ модели Ultralytics YOLO26x на классах DAGM с 0,11 до 0,32, но всего на 0,008 на Real-IAD (подробности тестирования). Эффективность синтетических данных зависит от набора данных и способа их создания.

В этом руководстве сравниваются основные инструменты по методам, объясняется, какие пробелы устраняет каждый из них, и показывается, как проверить синтетические данные с помощью Ultralytics YOLO26, прежде чем ты решишь их использовать. Если тема для тебя новая, начни с материала о том, что такое синтетические данные и как их используют.

Три способа создать синтетические обучающие данные#

В этом руководстве инструменты для создания синтетических данных разделены на три практических метода. Они решают разные задачи, поэтому сначала сравни инструменты в рамках одного метода.

Каждый метод по-своему работает с метками, и все три следует оценивать на реальных изображениях, которые модель ещё не видела.

Синтетические данные и аугментация данных пересекаются: оба метода добавляют обучающие примеры, которые ты не собирал. Практическое различие — в происхождении новых изображений. Аугментация преобразует имеющиеся изображения, а симуляция и генеративные модели могут показать модели то, чего в твоём наборе данных вообще нет.

Сравнение инструментов для работы с синтетическими данными#

Инструменты перечислены в алфавитном порядке; каждая строка проверена по официальному сайту или репозиторию соответствующего инструмента в ноябре 2026 года.

Ultralytics Platform — не инструмент для 3D-симуляции. Функция Generate Similar Images описывает новые сцены, вдохновлённые твоим изображением, и создаёт по одному изображению для каждой сцены с помощью Ultralytics Image 4B (по умолчанию) или Ultralytics Image 6B. На новых изображениях те же объекты и стиль, что и на исходном, но меток на них нет — перед обучением нужно добавить их самостоятельно. Если тебе нужны попиксельно точные метки для объектов, которые можно смоделировать в 3D, лучше выбрать инструмент для симуляции.

Иллюстративная композиция функции Generate Similar Images в Ultralytics Platform: показаны четыре реальных результата, полученных с помощью бесплатной модели Ultralytics Image 4B. Исходное фото: 001 Автомобильный завод — сборочная линия завода Opel в Гливице, Польша, Марек Слусарчик (Tupungato), CC BY 3.0. Показаны варианты, сгенерированные ИИ.

Как выбрать инструмент для создания синтетических данных#

Начни с пробела в данных, а не с инструмента. Вот самые распространённые пробелы и подходящие для них инструменты.

Редкие дефекты и аномалии#

Реальные примеры редких типов дефектов бывает трудно собрать. Стоит протестировать два подхода:

• Генерация дефектов на реальных изображениях. В тестировании Ultralytics и NVIDIA NVIDIA Cosmos Data Factory автоматически размечал сгенерированные изображения дефектов, которые добавляли к реальным обучающим изображениям. В опубликованном отчёте говорится, что в тесте с синтетическими данными полнота выросла на каждом наборе данных. Сейчас генерация в Cosmos доступна как пример и демонстрация, а не как выпущенная интеграция.
• Аугментация копированием и вставкой. Для обучения сегментации или OBB с полигональными метками включи copy_paste, чтобы копировать объекты внутри изображений или между ними и увеличить частоту появления редкого класса. По умолчанию эта функция отключена.

Узнай, как компьютерное зрение применяется в производстве и какую роль обнаружение дефектов играет на производственной линии.

Роботы, склады и операции захвата и перемещения#

Если ты можешь смоделировать объекты и пространство в 3D, симуляция создаёт разметку для каждого изображения и позволяет варьировать позы, освещение и загромождённость сцены при рендеринге — это называется рандомизацией домена. Для симуляции робототехники на оборудовании NVIDIA рассмотрите NVIDIA Isaac Sim с Omniverse Replicator, а для скриптового рендеринга уже имеющихся 3D-моделей — BlenderProc. Подробнее о компьютерном зрении в робототехнике.

Автомобили, дроны и мультисенсорные системы#

Для симуляции камер, лидаров и радаров или тестирования с замкнутым контуром рассмотрите платформы, созданные для автономных систем с несколькими сенсорами. Parallel Domain создаёт реконструкции на основе реальных журналов поездок и полётов. Anyverse симулирует выходные данные конкретных сенсоров для вождения, салона автомобиля и оборонных задач. Duality AI Falcon ориентирована на автономные системы для авиации и бездорожья.

Спутниковые данные, SAR и другие сенсоры невидимого спектра#

Rendered.ai предлагает симуляцию SAR, инфракрасного, теплового, мультиспектрального, гиперспектрального и рентгеновского излучения. Anyverse предлагает выходные данные в ближнем инфракрасном и тепловом диапазонах.

Небольшой датасет, которому нужно больше разнообразия#

Начни с аугментации, которая отражает условия, в которых модель действительно будет работать: так разметка сохранится. Для обучения детекторов Ultralytics YOLO по умолчанию включает мозаику, изменение цветов, масштабирование, сдвиг и горизонтальное отражение; также можно добавить собственные преобразования Albumentations. Если аугментация не охватывает условия, которые невозможно сфотографировать, например другое освещение, фон или ракурс, проверь генеративное разнообразие или симуляцию — в зависимости от сцены и способа разметки.

Как проверить, помогают ли синтетические данные#

Синтетические данные оправдывают себя, только если модель лучше работает на реальных изображениях. Проведи один и тот же эксперимент дважды, меняя только обучающие изображения:

1. Отложи реальные тестовые изображения. Оставь тестовый набор реальных изображений из среды, в которой будет работать модель, и никогда не добавляй в него синтетические изображения.
2. Обучи базовую модель только на реальных изображениях.
3. Заново обучи модель на реальных и синтетических изображениях, используя ту же модель, число эпох, оптимизатор и seed.
4. Выбери конфигурацию по реальным валидационным изображениям. Если ты проверяешь несколько объёмов синтетических данных, сравни их на реальных валидационных изображениях. Затем оцени только базовую модель и выбранную конфигурацию на нетронутом реальном тестовом наборе. Проверь mAP_50-95 и полноту, а также mAP₇₅, если важна точность рамок.

В Ultralytics YOLO для обучающей выборки можно указать несколько папок, чтобы реальные и синтетические изображения хранились на диске отдельно. Создай real.yaml таким же способом, указав train только как images/train_real. Оставляй почти одинаковые изображения и изображения одной сцены в одной выборке и создавай синтетические изображения только на основе обучающих изображений:

# real_plus_synthetic.yaml
path: datasets/defects
train: [images/train_real, images/train_synthetic] # real + synthetic training images
val: images/val_real # real images only
test: images/test_real # real images only, never seen in training
names:
  0: scratch
  1: dent

from ultralytics import YOLO

runs = {}
for name, data in [("real only", "real.yaml"), ("real + synthetic", "real_plus_synthetic.yaml")]:
    model = YOLO("yolo26n.pt")
    model.train(  # same recipe for both runs
        data=data, epochs=100, imgsz=640, batch=16,
        optimizer="AdamW", lr0=0.001, seed=0,
    )
    runs[name] = model.trainer.best  # path to the best weights

for name, weights in runs.items():
    metrics = YOLO(weights).val(data="real_plus_synthetic.yaml", split="test")  # same real test set
    print(f"{name}: mAP50-95 {metrics.box.map:.3f}, mAP75 {metrics.box.map75:.3f}")

Так сравниваются одинаковые конфигурации обучения с синтетическими изображениями и без них; оценка проводится на одних и тех же реальных тестовых изображениях. При одинаковом числе эпох на большем датасете выполняется больше шагов обучения, поэтому прежде чем доверять небольшому различию, повтори эксперимент с несколькими seed. Все настройки смотри в документации Train и Val, а о том, как интерпретировать результаты, — в разделе рекомендации по оценке моделей.

mAP₇₅ на датасетах, где проверяли синтез и он помог: только реальные изображения и изображения с добавленными дефектами; по результатам тестирования Ultralytics и NVIDIA.

Что измерила Ultralytics#

• Сгенерированные дефекты (тестирование Ultralytics и NVIDIA). На датасетах для промышленной инспекции с полигональной разметкой сравнили Ultralytics YOLO26x, обученную на реальных изображениях и дефектах, сгенерированных NVIDIA Cosmos Data Factory, и ту же модель, обученную только на реальных изображениях. На классах DAGM показатель mAP₇₅ вырос на 0,11–0,32; например, для класса 9 DAGM он увеличился с 0,650 до 0,966. На Real-IAD прирост составил 0,008. Обе модели обучались по одной конфигурации и оценивались на одном и том же отложенном тестовом наборе (полные результаты).
• Синтетические данные о глубине. Модели глубины YOLO26 предварительно обучены на смеси примерно из 2,19 миллиона изображений, в которую входят такие синтетические датасеты, как Hypersim. В Hypersim есть плотная эталонная разметка глубины для отрендеренных сцен; недопустимые пиксели, например окна и небо, замаскированы. Синтетические данные дополняют более шумные данные реальных сенсоров, а не заменяют их.
• Сгенерированные изображения в открытом датасете. Ultralytics Construction-PPE объединяет изображения, собранные людьми, и сгенерированные изображения: 1 000 изображений и 12 классов; датасет выпущен по лицензии CC BY 4.0. В нём нет отдельной тестовой выборки, и документация рекомендует оценивать модель на независимых изображениях из собственной среды развёртывания.

Сколько синтетических данных добавить#

Универсального соотношения нет, поэтому считай его параметром для проверки. В тестировании Ultralytics и NVIDIA объём синтетических изображений ограничили 25% или 100% от числа реальных обучающих изображений — одно синтетическое изображение на каждые четыре реальных или одно к одному. Из 11 448 сгенерированных изображений оставили только 1 481. Начни с малого, выбери соотношение по реальным валидационным изображениям и оставь нетронутый реальный тестовый набор для итогового сравнения.

Какую роль играет Ultralytics#

Ultralytics не продаёт движок 3D-симуляции. Платформа охватывает этапы работы с синтетическими данными:

• Обучай и сравнивай. Ultralytics YOLO обучается на любых сочетаниях реальных и синтетических изображений в формате YOLO — на собственном оборудовании или в облаке на GPU с помощью Ultralytics Platform.
• Добавляй разнообразие к реальным изображениям. Функция Generate Similar Images в Ultralytics Platform создаёт до 16 вариантов изображения за один пакет; можно задать инструкции, например «измени освещение» или «добавь дождь».
• Размечай созданные изображения. Умная аннотация в Ultralytics Platform использует SAM 3.1, YOLO и YOLOE для разметки новых изображений, в том числе пакетной разметки всего датасета.
• Аугментация по умолчанию. Обучение Ultralytics YOLO включает встроенную аугментацию и поддерживает пользовательские преобразования Albumentations.