Synthetic Data Generation
Генерация синтетических данных создаёт искусственные обучающие данные с помощью симуляторов, процедурных правил, генеративных моделей и LLM, часто с точными метками.
Генерация синтетических данных — это создание искусственных изображений, видео, показаний датчиков, таблиц или текста с помощью симулятора, процедурных правил или генеративной модели, чтобы на этих данных можно было обучать модель машинного обучения или проверять ее. Результат называется синтетическими данными. Качество этих данных определяется четырьмя решениями при генерации: каким методом создаются образцы, как к ним добавляются метки, насколько разнообразны сцены и как результат проверяется на реальных данных. В компьютерном зрении главное преимущество в том, что генератор, который размещает каждый объект, может одновременно создавать для него и аннотации данных — точные и бесплатные.
Основные методы генерации#
Симуляторы строят 3D-сцену из ресурсов, задают освещение, материалы и камеру, а затем рендерят изображения вместе с точными масками, картами глубины и ограничивающими рамками, поскольку описание сцены фиксирует положение каждого объекта. Симуляторы вождения с открытым исходным кодом, например CARLA, формируют потоки данных с камер, лидара и радара для автономных транспортных средств, а симуляторы робототехники делают то же для захвата объектов и навигации. Рандомизация домена варьирует текстуры, освещение и позы между рендерами, помогая моделям, обученным на этих данных, работать с реальными камерами.
При процедурной генерации вместо полноценной сцены используются скрипты и правила. Компоновка объектов методом вырезания и вставки, ставшая популярной благодаря статье «Cut, Paste and Learn» 2017 года исследователей из Университета Карнеги — Меллона, размещает вырезанные сегментированные объекты на новых фонах и сохраняет рамку каждого объекта как метку. Самый простой вариант случайным образом рисует фигуры, а генератор записывает метку каждого объекта по мере его создания:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")В выводе появляется wrote 100 images with 256 exact box labels. Каждая строка соответствует формату меток YOLO и содержит класс, а также центр, ширину и высоту рамки в долях размера изображения; ни для одной из них не понадобился аннотатор.
Генеративные модели изучают характер реальных данных и создают на их основе новые примеры. Генеративно-состязательные сети (GANs) и диффузионные модели создают фотореалистичные изображения из шума, текстового запроса или эталонного изображения, а методы управления генерацией, такие как ControlNet, фиксируют композицию, чтобы положения объектов оставались известны. Без такого управления сгенерированные изображения придется размечать после генерации. Для таблиц статистические синтезаторы аппроксимируют совместное распределение реальных записей с помощью гауссовых копул, байесовских сетей или условных GAN, например CTGAN (NeurIPS 2019), а затем генерируют новые строки.
Большие языковые модели создают текстовые данные: инструкции, диалоги, упражнения по программированию и цепочки рассуждений. Microsoft обучила phi-1 — модель для программирования с 1,3 млрд параметров — на 6 млрд токенов отфильтрованного веб-текста и 1 млрд токенов учебников и упражнений, созданных GPT-3.5. На тесте HumanEval модель достигла pass@1 на уровне 50,6%.
Выбор и проверка метода#
Метод выбирают исходя из того, что должны содержать данные, а любой метод завершается одинаковой проверкой на реальных данных:
Проверка состоит в обучении модели на сгенерированных данных — самостоятельно или вместе с реальными данными — и её оценке только на отложенных реальных тестовых данных, как в тестах NVIDIA Cosmos на синтетических данных для обнаружения дефектов от Ultralytics. Если точность на реальных изображениях падает по мере увеличения доли синтетических данных, генератор недостаточно реалистичен или охватывает не все нужные случаи. Найти проблему помогают метрики для целых изображений, например расстояние Фреше между признаками (FID). Генераторы, обученные на реальных данных, тоже могут их запоминать, поэтому в конвейерах с требованиями к конфиденциальности сгенерированные записи проверяют на совпадения с исходными, а некоторые дополнительно используют дифференциальную приватность при обучении.
Платформа Ultralytics добавляет генерацию в процесс управления наборами данных с помощью действия «Сгенерировать похожие изображения». Оно берет изображение из набора данных, создает описания новых сцен, вдохновленных этим изображением, и генерирует по одному изображению для каждого описания с помощью модели Ultralytics Image 4B по умолчанию — от 1 до 16 за раз. При этом можно указать, что именно менять: например, освещение, ракурс, фон или объекты. Сохраненные изображения добавляются в набор данных без меток и готовы к аннотированию.
Генерация синтетических данных и смежные термины#
- Аугментация данных: Преобразует существующие реальные образцы во время обучения, например отражая, обрезая или меняя цвета, поэтому каждый результат связан с одним исходным образцом.
- Генеративный ИИ: Более широкая область моделей, создающих контент. Генеративные модели — один из источников синтетических данных наряду с симуляторами и процедурными правилами.
- Синтетические данные: Набор данных, созданный в результате генерации. Его оценивают по соответствию реальным данным, полезности для обучения и уровню обеспечиваемой конфиденциальности.










