Synthetic Data

Синтетические данные — это информация, созданная с помощью симуляции, набора правил или модели генеративного ИИ, а не полученная в результате измерений реальных событий; она предназначена для воспроизведения статистических закономерностей реальных данных, которые она заменяет. Визуализированная уличная сцена, таблица вымышленных записей о пациентах, столбцы которой коррелируют так же, как столбцы в реальных данных, и математическое упражнение, написанное языковой моделью, — всё это синтетические данные. Поскольку генератор создаёт каждый пример, он также знает правильный ответ для каждого из них, поэтому каждое визуализированное изображение сразу содержит точные ограничивающие рамки, маски сегментации и значения глубины без затрат на разметку. Генерация синтетических данных — это процесс их создания: от рендеринга в игровом движке до диффузионных моделей.

Типы синтетических данных#

В 1993 году статистик Дональд Рубин предложил концепцию полностью синтетических данных, чтобы статистические ведомства могли публиковать подробные записи, не раскрывая ответы реальных респондентов. Сегодня в этой области по-прежнему выделяют три типа данных:

• Полностью синтетические данные: каждая запись или изображение создаётся генератором, например набор данных, визуализированный из 3D-сцен, или таблица, сформированная моделью, обученной на реальных записях.
• Частично синтетические данные: заменяются только конфиденциальные поля, например доходы в файле опроса заменяются синтезированными значениями, а остальные данные каждой записи остаются реальными.
• Гибридные наборы данных: реальные и синтетические примеры объединены в одном обучающем наборе, а проверочный и тестовый наборы остаются реальными, чтобы метрики отражали точность в реальных условиях.

Синтетические данные охватывают все типы информации: изображения и видео из симуляторов, потоки LiDAR и радара, табличные записи, временные ряды и текст, написанный большими языковыми моделями.

Зачем используют синтетические данные#

Синтетические данные восполняют пробелы, которые невозможно закрыть сбором реальных данных. Столкновения, редкие дефекты и экстремальные погодные условия слишком опасны или редки, чтобы собирать их в больших объёмах, поэтому симуляторы создают их по запросу для систем восприятия в автомобилях и робототехнике. Записи, которые никогда не принадлежали реальному человеку, снижают риск раскрытия данных пациентов или клиентов, что важно для соблюдения правил конфиденциальности данных в здравоохранении и финансах. Генераторы также могут увеличивать число примеров недостаточно представленных классов, оттенков кожи или ракурсов, чтобы компенсировать смещение набора данных. Исследователи Microsoft показали, что в некоторых задачах этот подход позволяет полностью отказаться от реальных изображений: в статье «Подделай, пока не получится», представленной на ICCV 2021, модели локализации лицевых ключевых точек и сегментации лиц обучались только на визуализированных лицах и достигли такой же точности, как модели, обученные на реальных фотографиях.

Ещё одна распространённая причина использовать синтетические данные — необходимость получить плотную геометрию. Модели оценки глубины Ultralytics YOLO26 предварительно обучены на смеси примерно из 2,19 миллиона изображений, включающей три источника синтетических данных: интерьеры Apple с трассировкой лучей в Hypersim, среды AirSim в TartanAir и сцены вождения KITTI, повторно отрендеренные при разной погоде и освещении в Virtual KITTI 2. Для каждого пикселя в этих источниках указано значение глубины, тогда как в реальных сканах LiDAR KITTI из той же смеси данные есть лишь для отдельных точек.

Оценка качества синтетических данных#

Синтетические наборы данных оценивают по трём свойствам. Достоверность показывает, насколько точно они соответствуют реальным распределениям: от средних значений столбцов и корреляций в таблицах до оценок реалистичности изображений, например расстояния Фреше между признаками Inception (FID). Полезность показывает, работает ли модель, обученная на синтетических данных, на реальных; обычно модель обучают на синтетических данных и тестируют на реальных (TSTR). Конфиденциальность показывает, не просачиваются ли реальные записи: для проверки используют расстояния до ближайшей реальной записи, атаки с выводом о принадлежности или формальные гарантии дифференциальной приватности для генератора.

В этом тесте TSTR для каждого класса реальной медицинской таблицы подбирают гауссово распределение, а затем обучают один и тот же классификатор на реальных и синтетических строках:

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

Модель, обученная на реальных строках, получает оценку 97,7%, а модель, обученная на 1 000 синтетических строках, — 95,9%. Разница в 1,8 процентного пункта показывает, какие закономерности не удалось уловить простому гауссову генератору; при этом ни одна синтетическая строка не является копией записи о реальном пациенте.

Риски и ограничения#

Модель может усвоить особенности рендерера, например идеально чёткие границы или повторяющиеся текстуры, а затем не справиться с реальными изображениями. Разрыв между симуляцией и реальностью сокращают с помощью рандомизации домена, добавления реальных данных или дообучения на небольшом реальном наборе. Генератор также наследует слепые зоны данных, на которых он обучался, поэтому редко создаёт редкие случаи, ради которых его и используют, если их не задать явно. Многократное обучение генеративных моделей на собственных результатах приводит к коллапсу модели. В статье Shumailov и коллег, опубликованной в Nature в 2024 году, показано, что в первую очередь при этом исчезают редкие элементы исходного распределения «статья Nature 2024 года».

Синтетические данные и родственные термины#

• Аугментация данных: преобразует имеющиеся реальные примеры с помощью отражений, обрезки и изменения цветов, поэтому каждый новый пример основан на конкретном исходном.
• Цифровой двойник: виртуальная модель конкретного реального объекта, синхронизируемая с данными его датчиков. Визуализация двойника — один из способов создавать синтетические данные об этом объекте.
• Анонимизированные данные: реальные записи, в которых имена и идентификаторы удалены или скрыты, но каждая строка по-прежнему описывает реального человека.