Synthetic Data

합성 데이터는 실제 이벤트에서 측정하는 대신 시뮬레이션, 규칙 집합 또는 생성형 AI 모델로 생성한 정보이며, 이를 대체하는 실제 데이터의 통계적 패턴을 재현하도록 만들어집니다. 렌더링된 거리 장면, 실제 데이터처럼 열 간 상관관계가 있는 가상의 환자 기록 표, 언어 모델이 작성한 수학 연습 문제는 모두 합성 데이터입니다. 생성기가 모든 예시를 만들기 때문에 각 예시의 정답도 알고 있으며, 렌더링된 이미지에는 라벨링 비용 없이 정확한 바운딩 박스, 세그멘테이션 마스크, 깊이 값이 함께 제공됩니다. 합성 데이터 생성은 게임 엔진 렌더링부터 확산 모델까지 합성 데이터를 만드는 과정입니다.

합성 데이터의 유형#

통계학자 Donald Rubin은 실제 응답자의 답변을 공개하지 않고도 인구 조사 기관이 상세한 기록을 발표할 수 있도록 1993년에 완전 합성 데이터를 제안했습니다. 현재 이 분야에서는 다음 세 가지 유형을 구분합니다.

• 완전 합성 데이터: 3D 장면에서 렌더링한 데이터셋이나 실제 기록으로 학습한 모델에서 샘플링한 표처럼 모든 기록이나 이미지가 생성기에서 만들어집니다.
• 부분 합성 데이터: 설문 파일의 합성 소득처럼 민감한 필드만 대체하고 나머지 기록은 실제 데이터로 유지합니다.
• 하이브리드 데이터셋: 실제 예시와 합성 예시를 하나의 학습 세트에 함께 사용하고, 지표가 실제 환경의 정확도를 반영하도록 검증 세트와 테스트 세트는 실제 데이터로 유지합니다.

합성 데이터는 모든 모달리티를 포괄합니다. 시뮬레이터에서 생성한 이미지와 동영상, LiDAR 및 레이더 스트림, 표 형식 레코드, 시계열, 대규모 언어 모델이 작성한 텍스트가 해당합니다.

합성 데이터를 사용하는 이유#

합성 데이터는 실제 데이터 수집으로 채울 수 없는 공백을 메웁니다. 충돌, 희귀 결함, 극한 기상 조건은 기록하기에 지나치게 위험하거나 드물기 때문에 시뮬레이터를 통해 필요할 때 생성하여 자동차 인지 및 로보틱스에 활용합니다. 실제 인물의 기록이 아닌 데이터를 사용하면 환자나 고객 정보 노출 위험을 줄일 수 있으며, 이는 의료 및 금융 분야의 데이터 프라이버시 규정 준수에 중요합니다. 생성기는 또한 과소 대표된 클래스, 피부색 또는 시점을 오버샘플링하여 데이터셋 편향을 완화할 수 있습니다. Microsoft 연구진은 일부 작업에서 실제 이미지를 완전히 대체할 수 있음을 보였습니다. 2021년 ICCV 논문 Fake It Till You Make It에서는 렌더링된 얼굴만으로 얼굴 키포인트 위치 추정 및 얼굴 파싱 모델을 학습해 실제 사진으로 학습한 경우와 같은 정확도를 달성했습니다.

밀집 기하 정보도 합성 데이터를 사용하는 흔한 이유입니다. Ultralytics YOLO26 깊이 추정 모델은 약 219만 개 이미지의 혼합 데이터로 사전 학습됩니다. 여기에는 세 가지 합성 데이터 출처가 포함됩니다. Apple의 레이 트레이싱 실내 장면인 Hypersim, TartanAir의 AirSim 환경, 다양한 날씨와 조명 조건에서 다시 렌더링한 KITTI 주행 장면인 Virtual KITTI 2입니다. 각 출처는 모든 픽셀의 깊이값을 제공하는 반면, 같은 혼합 데이터의 실제 KITTI LiDAR 스캔은 듬성듬성한 지점만 포함합니다.

합성 데이터 품질 측정#

합성 데이터셋은 세 가지 특성으로 평가합니다. 충실도는 표의 열 평균과 상관관계부터 Fréchet Inception Distance (FID)와 같은 이미지 실감도 점수까지 실제 분포를 얼마나 잘 재현하는지를 측정합니다. 유용성은 합성 데이터로 학습한 모델이 실제 데이터에서 작동하는지를 측정하며, 보통 합성 데이터로 학습하고 실제 데이터로 테스트하는 방식(TSTR)을 사용합니다. 프라이버시는 가장 가까운 실제 기록까지의 거리, 멤버십 추론 공격, 생성기에 대한 공식적인 차등 프라이버시 보장을 사용해 실제 기록이 유출되는지 측정합니다.

다음 TSTR 검사는 실제 의료 데이터 표의 각 클래스에 가우시안 분포를 적합하고, 실제 행과 합성 행으로 동일한 분류기를 학습합니다.

import numpy as np
from sklearn.datasets import load_breast_cancer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

# Real breast tumor measurements, split into training rows and a held-out real test set
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=0)

# Fully synthetic training set: 500 rows per class sampled from a Gaussian fit to that class's real rows
rng = np.random.default_rng(0)
classes = [X_train[y_train == c] for c in (0, 1)]
X_syn = np.vstack([rng.multivariate_normal(rows.mean(0), np.cov(rows.T), 500) for rows in classes])
y_syn = np.repeat([0, 1], 500)

# Train the same classifier on real or on synthetic rows, then test both on the same real rows
for name, (X_fit, y_fit) in {"real": (X_train, y_train), "synthetic": (X_syn, y_syn)}.items():
    model = make_pipeline(StandardScaler(), LogisticRegression(max_iter=1000)).fit(X_fit, y_fit)
    print(f"trained on {name} data: {model.score(X_test, y_test):.1%} accuracy on real test data")

실제 행으로 학습한 모델은 97.7%를 기록하고, 합성 행 1,000개로 학습한 모델은 95.9%를 기록합니다. 1.8%포인트의 차이는 단순한 가우시안 생성기가 포착하지 못한 신호를 나타내며, 합성 행 중 실제 환자 기록을 복사한 것은 없습니다.

위험과 한계#

모델은 완벽한 가장자리나 반복되는 텍스처와 같은 렌더러의 지름길을 학습해 실제 이미지에서 실패할 수 있습니다. 도메인 무작위화, 실제 데이터와의 혼합 또는 소량의 실제 데이터로 파인튜닝을 수행하면 이러한 시뮬레이션-실제 환경 간 격차를 줄일 수 있습니다. 생성기는 학습 데이터의 사각지점도 물려받으므로, 명시적으로 지정하지 않으면 합성 데이터를 사용하는 계기가 된 롱테일 사례를 거의 생성하지 않습니다. 생성형 모델을 자체 출력으로 반복 학습하면 모델 붕괴가 발생합니다. Shumailov와 동료들이 발표한 2024년 Nature 논문은 이 과정에서 원래 분포의 희귀한 꼬리 부분이 가장 먼저 사라짐을 보였습니다.

합성 데이터와 관련 용어 비교#

• 데이터 증강: 기존 실제 예시에 뒤집기, 자르기, 색상 변경을 적용합니다. 따라서 새 샘플은 모두 특정 원본에서 파생됩니다.
• 디지털 트윈: 센서 데이터와 동기화된 상태로 유지되는 특정 실제 자산의 가상 모델입니다. 트윈을 렌더링하는 것은 해당 자산의 합성 데이터를 생성하는 한 가지 방법입니다.
• 익명화된 데이터: 이름과 식별자를 삭제하거나 마스킹한 실제 기록으로, 각 행은 여전히 실제 인물을 나타냅니다.