Лицензия YOLO
Назад к глоссарию Ultralytics

Synthetic Data Generation

Генерация синтетических данных создаёт искусственные обучающие данные с помощью симуляторов, процедурных правил, генеративных моделей и LLM, часто с точными метками.

Генерация синтетических данных — это создание искусственных изображений, видео, показаний датчиков, таблиц или текста с помощью симулятора, процедурных правил или генеративной модели, чтобы на этих данных можно было обучать модель машинного обучения или проверять ее. Результат называется синтетическими данными. Качество этих данных определяется четырьмя решениями при генерации: каким методом создаются образцы, как к ним добавляются метки, насколько разнообразны сцены и как результат проверяется на реальных данных. В компьютерном зрении главное преимущество в том, что генератор, который размещает каждый объект, может одновременно создавать для него и аннотации данных — точные и бесплатные.

Основные методы генерации#

Симуляторы строят 3D-сцену из ресурсов, задают освещение, материалы и камеру, а затем рендерят изображения вместе с точными масками, картами глубины и ограничивающими рамками, поскольку описание сцены фиксирует положение каждого объекта. Симуляторы вождения с открытым исходным кодом, например CARLA, формируют потоки данных с камер, лидара и радара для автономных транспортных средств, а симуляторы робототехники делают то же для захвата объектов и навигации. Рандомизация домена варьирует текстуры, освещение и позы между рендерами, помогая моделям, обученным на этих данных, работать с реальными камерами.

При процедурной генерации вместо полноценной сцены используются скрипты и правила. Компоновка объектов методом вырезания и вставки, ставшая популярной благодаря статье «Cut, Paste and Learn» 2017 года исследователей из Университета Карнеги — Меллона, размещает вырезанные сегментированные объекты на новых фонах и сохраняет рамку каждого объекта как метку. Самый простой вариант случайным образом рисует фигуры, а генератор записывает метку каждого объекта по мере его создания:

import cv2
import numpy as np

rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
    # Random background color, then one to four contrasting discs in separate quadrants so none overlap
    background = rng.integers(0, 256, 3)
    image = np.full((320, 320, 3), background, dtype=np.uint8)
    labels = []
    for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
        r = int(rng.integers(10, 40))
        x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
        color = (background + rng.integers(64, 193, 3)) % 256
        cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
        # The generator placed the disc, so its normalized box label is exact and free
        labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
    cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
    with open(f"synthetic_{i:03d}.txt", "w") as f:
        f.write("\n".join(labels))
    boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")

В выводе появляется wrote 100 images with 256 exact box labels. Каждая строка соответствует формату меток YOLO и содержит класс, а также центр, ширину и высоту рамки в долях размера изображения; ни для одной из них не понадобился аннотатор.

Генеративные модели изучают характер реальных данных и создают на их основе новые примеры. Генеративно-состязательные сети (GANs) и диффузионные модели создают фотореалистичные изображения из шума, текстового запроса или эталонного изображения, а методы управления генерацией, такие как ControlNet, фиксируют композицию, чтобы положения объектов оставались известны. Без такого управления сгенерированные изображения придется размечать после генерации. Для таблиц статистические синтезаторы аппроксимируют совместное распределение реальных записей с помощью гауссовых копул, байесовских сетей или условных GAN, например CTGAN (NeurIPS 2019), а затем генерируют новые строки.

Большие языковые модели создают текстовые данные: инструкции, диалоги, упражнения по программированию и цепочки рассуждений. Microsoft обучила phi-1 — модель для программирования с 1,3 млрд параметров — на 6 млрд токенов отфильтрованного веб-текста и 1 млрд токенов учебников и упражнений, созданных GPT-3.5. На тесте HumanEval модель достигла pass@1 на уровне 50,6%.

Выбор и проверка метода#

Метод выбирают исходя из того, что должны содержать данные, а любой метод завершается одинаковой проверкой на реальных данных:

Проверка состоит в обучении модели на сгенерированных данных — самостоятельно или вместе с реальными данными — и её оценке только на отложенных реальных тестовых данных, как в тестах NVIDIA Cosmos на синтетических данных для обнаружения дефектов от Ultralytics. Если точность на реальных изображениях падает по мере увеличения доли синтетических данных, генератор недостаточно реалистичен или охватывает не все нужные случаи. Найти проблему помогают метрики для целых изображений, например расстояние Фреше между признаками (FID). Генераторы, обученные на реальных данных, тоже могут их запоминать, поэтому в конвейерах с требованиями к конфиденциальности сгенерированные записи проверяют на совпадения с исходными, а некоторые дополнительно используют дифференциальную приватность при обучении.

Платформа Ultralytics добавляет генерацию в процесс управления наборами данных с помощью действия «Сгенерировать похожие изображения». Оно берет изображение из набора данных, создает описания новых сцен, вдохновленных этим изображением, и генерирует по одному изображению для каждого описания с помощью модели Ultralytics Image 4B по умолчанию — от 1 до 16 за раз. При этом можно указать, что именно менять: например, освещение, ракурс, фон или объекты. Сохраненные изображения добавляются в набор данных без меток и готовы к аннотированию.

  • Аугментация данных: Преобразует существующие реальные образцы во время обучения, например отражая, обрезая или меняя цвета, поэтому каждый результат связан с одним исходным образцом.
  • Генеративный ИИ: Более широкая область моделей, создающих контент. Генеративные модели — один из источников синтетических данных наряду с симуляторами и процедурными правилами.
  • Синтетические данные: Набор данных, созданный в результате генерации. Его оценивают по соответствию реальным данным, полезности для обучения и уровню обеспечиваемой конфиденциальности.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения