Synthetic Data Generation
합성 데이터 생성은 시뮬레이터, 절차적 규칙, 생성 모델, LLM을 활용해 인공 학습 데이터를 만들며, 흔히 정확한 레이블을 제공합니다.
합성 데이터 생성은 시뮬레이터, 절차적 규칙 또는 생성 모델을 사용해 인공 이미지, 동영상, 센서 판독값, 표 또는 텍스트를 만들어 머신러닝 모델을 학습시키거나 테스트하는 과정입니다. 생성 결과는 합성 데이터이며, 생성 방식, 레이블 부착 방법, 각 장면의 다양성 범위, 결과를 실제 데이터와 대조하는 방법이라는 네 가지 선택이 데이터 품질을 결정합니다. 컴퓨터 비전에서 합성 데이터 생성의 주요 장점은 모든 객체의 배치를 지정하는 생성기가 해당 객체의 데이터 어노테이션도 정확하고 무료로 작성할 수 있다는 점입니다.
주요 생성 방법#
시뮬레이터는 에셋으로 3D 장면을 구성하고 조명, 재질, 카메라를 설정한 다음, 장면 설명에 모든 요소의 위치가 기록되어 있다는 점을 활용해 정확한 마스크, 깊이 맵, 바운딩 박스와 함께 이미지를 렌더링합니다. CARLA와 같은 오픈 소스 주행 시뮬레이터는 자율주행 차량에 카메라, LiDAR, 레이더 스트림을 제공하며, 로봇 시뮬레이터는 그리핑과 내비게이션에 동일한 기능을 제공합니다. 도메인 랜덤화는 렌더링마다 텍스처, 조명, 포즈를 바꿔 해당 데이터로 학습한 모델이 실제 카메라에도 일반화되도록 합니다.
절차적 생성은 완전한 장면 대신 스크립트와 규칙을 사용합니다. Carnegie Mellon University가 2017년 발표한 "Cut, Paste and Learn" 논문으로 널리 알려진 복사-붙여넣기 합성은 분할된 객체 크롭을 새로운 배경에 붙이고, 붙여 넣은 각 박스를 레이블로 기록합니다. 가장 단순한 버전은 임의의 위치에 도형을 그리고, 생성기가 도형을 그리면서 각 객체의 레이블도 작성합니다:
import cv2
import numpy as np
rng = np.random.default_rng(0)
boxes = 0
for i in range(100):
# Random background color, then one to four contrasting discs in separate quadrants so none overlap
background = rng.integers(0, 256, 3)
image = np.full((320, 320, 3), background, dtype=np.uint8)
labels = []
for qx, qy in [(0, 0), (160, 0), (0, 160), (160, 160)][: rng.integers(1, 5)]:
r = int(rng.integers(10, 40))
x, y = qx + int(rng.integers(r, 160 - r)), qy + int(rng.integers(r, 160 - r))
color = (background + rng.integers(64, 193, 3)) % 256
cv2.circle(image, (x, y), r, color.tolist(), thickness=-1)
# The generator placed the disc, so its normalized box label is exact and free
labels.append(f"0 {x / 320:.4f} {y / 320:.4f} {2 * r / 320:.4f} {2 * r / 320:.4f}")
cv2.imwrite(f"synthetic_{i:03d}.jpg", image)
with open(f"synthetic_{i:03d}.txt", "w") as f:
f.write("\n".join(labels))
boxes += len(labels)
print(f"wrote 100 images with {boxes} exact box labels")wrote 100 images with 256 exact box labels을 출력합니다. 각 줄은 YOLO 레이블 형식을 따르며 클래스와 박스 중심점, 너비, 높이를 이미지 크기에 대한 비율로 저장합니다. 이 과정에는 사람이 주석을 달 필요가 없습니다.
생성 모델은 실제 데이터의 특징을 학습하고 여기서 새로운 예시를 샘플링합니다. 생성적 적대 신경망(GAN)과 디퓨전 모델은 노이즈, 텍스트 프롬프트 또는 참조 이미지에서 사실적인 이미지를 생성하며, ControlNet과 같은 조건화 방법은 레이아웃을 고정해 객체 위치를 파악할 수 있도록 합니다. 이러한 조건화가 없으면 생성된 이미지에 사후 레이블링이 필요합니다. 표의 경우 통계적 합성기는 Gaussian copula, 베이지안 네트워크 또는 CTGAN(NeurIPS 2019)과 같은 조건부 GAN으로 실제 레코드의 결합 분포를 적합한 다음 새로운 행을 샘플링합니다.
대규모 언어 모델은 지침, 대화, 코드 연습, 추론 기록과 같은 텍스트 데이터를 생성합니다. Microsoft는 13억 개의 파라미터를 가진 코드 모델 phi-1을, 필터링한 웹 텍스트 60억 토큰과 GPT-3.5가 작성한 교재 및 연습 문제 10억 토큰으로 학습했으며, HumanEval 벤치마크에서 pass@1 50.6%를 달성했습니다.
방법 선택 및 검증#
방법은 데이터에 포함되어야 하는 내용에 따라 결정되며, 모든 방법은 실제 데이터와 대조하는 동일한 검증 단계를 거칩니다:
검증에서는 생성된 데이터만 사용하거나 실제 데이터와 혼합해 모델을 학습하고, Ultralytics의 결함 감지를 위한 NVIDIA Cosmos 합성 데이터 벤치마크와 같이 홀드아웃된 실제 테스트 데이터에서만 평가합니다. 합성 데이터 비율이 높아질수록 실제 이미지의 정확도가 낮아지면 생성기의 현실성 또는 데이터 포괄성에 부족한 부분이 있다는 뜻입니다. 프레셰 인셉션 거리(FID)와 같은 이미지 수준 점수가 문제를 찾는 데 도움이 됩니다. 실제 데이터로 학습한 생성 모델도 데이터를 기억할 수 있으므로, 개인정보 보호가 중요한 파이프라인에서는 생성된 레코드를 원본과 대조하며 일부는 학습에 차등 프라이버시를 적용합니다.
Ultralytics Platform은 유사 이미지 생성 작업을 통해 데이터셋 관리에 이미지 생성을 추가합니다. 데이터셋에서 이미지를 가져와 해당 이미지에서 영감을 얻은 새로운 장면을 설명하는 텍스트를 작성한 뒤, 각 설명에 대해 기본적으로 Ultralytics Image 4B 모델로 이미지를 생성합니다. 조명, 시점, 배경, 객체 등 변경할 요소에 관한 선택적 지침을 적용해 한 번에 1~16개 이미지를 생성할 수 있습니다. 선택한 이미지는 어노테이션을 위해 레이블 없이 데이터셋에 추가됩니다.










