Synthetic Data Generation

합성 데이터 생성은 실제 개인이나 사건을 포함하지 않으면서 실제 데이터의 통계적 특성과 패턴을 모방하는 인공 데이터셋을 만드는 과정입니다. 인공지능(AI) 및 머신러닝(ML) 분야에서 이 기법은 데이터 부족, 개인정보 보호 문제, 편향을 해결하는 핵심 방법이 되었습니다. 실제 사건이 발생할 때 이를 기록하는 기존 데이터 수집 방식과 달리, 합성 데이터 생성은 알고리즘, 시뮬레이션, 생성 모델을 사용해 필요할 때마다 충실도 높은 데이터를 만들어 냅니다. 이 접근법은 견고한 컴퓨터 비전(CV) 모델 학습에 특히 중요합니다. 개발자가 실제로 수집하기 어렵거나 위험하거나 비용이 많이 드는 상황에 대해 완벽하게 라벨링된 대량의 학습 데이터를 만들 수 있기 때문입니다.

합성 데이터 생성의 원리#

합성 데이터 생성을 뒷받침하는 핵심 기술에는 고도화된 생성형 AI 아키텍처가 자주 활용됩니다. 이러한 시스템은 소량의 실제 데이터를 분석해 데이터의 기본 구조와 상관관계를 파악합니다. 모델이 이러한 분포를 학습하면 해당 분포에서 샘플링해 새롭고 고유한 사례를 생성할 수 있습니다.

주요 방법은 두 가지입니다.

• 컴퓨터 시뮬레이션: 비전 작업에서 개발자는 비디오 게임에 사용되는 것과 유사한 3D 그래픽 엔진으로 사실적인 장면을 렌더링합니다. 이를 통해 조명, 날씨, 객체 배치를 정밀하게 제어할 수 있습니다. 컴퓨터가 장면을 생성하므로 객체 감지에 필요한 바운딩 박스 등의 정확한 어노테이션도 자동으로 생성되어 수동 데이터 어노테이션이 필요하지 않습니다.
• 딥 생성 모델: 생성적 적대 신경망(GAN) 및 확산 모델과 같은 아키텍처는 매우 사실적인 이미지나 테이블 데이터를 합성할 수 있습니다. 예를 들어, NVIDIA 연구진은 이러한 모델을 활용해 자율 기계를 위한 다양한 학습 환경을 만듭니다.

AI의 실제 활용 사례#

합성 데이터 생성은 데이터가 병목인 산업을 변화시키고 있습니다.

• 자율 주행: 자율 주행차를 학습시키려면 수십억 마일에 달하는 주행 데이터가 필요합니다. 이를 실제로 수집하는 것은 불가능합니다. 대신 기업은 아이가 공을 쫓아 도로로 뛰어드는 상황이나 운전자의 시야를 가리는 강한 햇빛처럼 위험한 엣지 케이스를 합성 환경에서 시뮬레이션합니다. 이를 통해 자율 주행 차량의 인식 시스템이 실제 도로에서 거의 마주치지 않을 수 있는 중요한 상황을 학습하게 됩니다.
• 헬스케어 및 의료 영상: HIPAA와 같은 환자 개인정보 보호 법률은 의료 기록의 공유를 엄격히 제한합니다. 합성 데이터 생성으로 연구자는 종양과 같은 질병의 생물학적 표지는 유지하면서 실제 환자와는 완전히 분리된 X선 또는 MRI 스캔 데이터셋을 만들 수 있습니다. 이를 통해 환자의 기밀을 침해하지 않으면서 의료 영상 분석 도구를 개발할 수 있습니다.

Ultralytics YOLO26과의 시너지#

합성 데이터를 워크플로에 통합하면 Ultralytics YOLO26과 같은 최첨단 모델의 성능을 크게 높일 수 있습니다. 실제 데이터셋에 합성 사례를 추가하면 새로운 환경에 대한 모델의 일반화 능력을 개선할 수 있습니다.

다음은 실제 데이터와 합성 데이터를 혼합해 학습한 모델을 불러와 추론을 수행하는 방법을 보여주는 Python 예제입니다.

from ultralytics import YOLO

# 다양한 합성 데이터와 실제 데이터로 학습한 YOLO26 모델을 불러옵니다
model = YOLO("yolo26n.pt")

# 이미지에 추론을 실행해 감지 성능을 확인합니다
# 합성 데이터 학습은 다양한 조명과 각도에 대응하도록 모델을 돕습니다
results = model("https://ultralytics.com/images/bus.jpg")

# 결과 바운딩 박스와 신뢰도 점수를 표시합니다
results[0].show()

합성 데이터와 데이터 증강 구분하기#

두 기법 모두 데이터셋의 규모를 늘리는 것을 목표로 하지만, 합성 데이터 생성과 데이터 증강은 구분해야 합니다.

• 데이터 증강은 기존 실제 이미지를 뒤집거나 회전하거나 색상 균형을 변경하는 방식으로 수정해 변형 데이터를 만듭니다. 원본 이미지에서 파생된 데이터만 생성합니다.
• 합성 데이터 생성은 완전히 새로운 데이터 포인트를 처음부터 만듭니다. 생성 과정에서 실제 원본 이미지와 일대일로 대응할 필요가 없으므로, 현실에 존재한 적 없는 장면도 만들 수 있습니다.

모범 사례 및 과제#

합성 데이터를 효과적으로 사용하려면 "시뮬레이션에서 현실로(sim-to-real)"의 전이 가능성을 확보해야 합니다. 이는 합성 데이터로 학습한 모델이 실제 입력에서 얼마나 잘 작동하는지를 의미합니다. 합성 데이터에 실제 이미지의 질감이나 노이즈가 부족하면 배포 환경에서 모델이 제대로 작동하지 않을 수 있습니다. 이를 완화하기 위해 개발자는 도메인 무작위화와 같은 기법을 사용합니다. 시뮬레이션의 질감과 조명을 다양하게 바꾸어 모델이 특정 아티팩트에 의존하지 않고 형태 기반 특징을 학습하도록 합니다.

Ultralytics Platform을 사용하면 팀은 하이브리드 데이터셋을 관리하고 모델 성능을 모니터링하며, 합성 데이터의 추가로 평균 정밀도(mAP)와 같은 정확도 지표가 실제로 향상되는지 확인할 수 있습니다. Gartner가 언급한 것처럼 합성 데이터는 유능한 AI 시스템 구축을 위한 표준 요건으로 빠르게 자리 잡고 있으며, 더 공정하고 견고하며 편향이 적은 모델을 학습할 수 있는 방법을 제공합니다.