컴퓨터 비전 학습을 위한 최고의 합성 데이터 도구

컴퓨터 비전에 가장 적합한 합성 데이터 도구는 실제 데이터셋에 부족한 요소에 따라 달라집니다. NVIDIA Isaac Sim과 Omniverse Replicator, BlenderProc 같은 3D 시뮬레이션 도구는 레이블이 포함된 새 장면을 렌더링합니다. NVIDIA Cosmos 및 Ultralytics Platform의 Generate Similar Images 기능과 같은 생성 도구는 이미 보유한 이미지에 변화를 더합니다. Albumentations와 같은 증강 라이브러리는 학습 중 실제 이미지를 변환합니다.

어떤 도구를 선택하든 모델이 본 적 없는 실제 이미지로 성능을 평가하세요. 산업 결함 데이터셋을 대상으로 Ultralytics와 NVIDIA가 진행한 테스트에서 결함을 생성해 추가하자 DAGM 클래스에서 Ultralytics YOLO26x의 mAP₇₅가 0.11~0.32 상승했지만, Real-IAD에서는 0.008만 상승했습니다(테스트 세부 정보). 합성 데이터의 효과는 데이터셋과 생성 방식에 따라 달라집니다.

이 가이드에서는 주요 도구를 방식별로 비교하고, 각 도구가 어떤 데이터 격차를 해소하는지 설명하며, 합성 데이터를 도입하기 전에 Ultralytics YOLO26으로 테스트하는 방법을 안내합니다. 이 주제가 처음이라면 합성 데이터의 정의와 활용 방법부터 살펴보세요.

합성 학습 데이터를 만드는 세 가지 방법#

이 가이드는 합성 데이터 생성 도구를 세 가지 실용적인 방식으로 분류합니다. 각 방식은 서로 다른 문제를 해결하므로, 먼저 같은 방식에 속하는 도구끼리 비교하세요.

각 방식은 레이블을 다르게 처리하며, 세 가지 모두 모델이 본 적 없는 실제 이미지로 평가해야 합니다.

합성 데이터와 데이터 증강은 겹치는 부분이 있습니다. 둘 다 직접 수집하지 않은 학습 예제를 추가합니다. 실질적인 차이는 새 이미지의 출처입니다. 증강은 이미 보유한 데이터를 변형하는 반면, 시뮬레이션과 생성 모델은 데이터셋에 전혀 없는 대상을 모델에 보여줄 수 있습니다.

합성 데이터 도구 비교#

도구는 알파벳순으로 나열했으며, 각 항목은 2026년 11월에 해당 도구의 공식 웹사이트 또는 저장소를 기준으로 확인했습니다.

Ultralytics Platform은 3D 시뮬레이션 도구가 아닙니다. Generate Similar Images는 사용자의 이미지를 바탕으로 새로운 장면을 구상하고 각 장면의 이미지를 하나씩 생성합니다. 기본 모델인 Ultralytics Image 4B 또는 Ultralytics Image 6B를 사용할 수 있습니다. 새 이미지는 원본의 피사체와 스타일을 공유하지만 레이블이 없으므로 학습 전에 어노테이션해야 합니다. 3D 모델링이 가능한 객체에 대해 픽셀 단위로 정확한 레이블이 필요하다면 시뮬레이션 도구를 사용하는 편이 좋습니다.

Ultralytics Platform의 Generate Similar Images에서 무료 Ultralytics Image 4B 모델로 생성한 실제 결과 네 가지를 보여주는 예시 합성 이미지입니다. 원본 사진: 001 Car factory assembly line - Opel factory in Gliwice, Poland, Marek Ślusarczyk (Tupungato), CC BY 3.0. AI가 생성한 변형 이미지입니다.

합성 데이터 도구 선택 방법#

도구가 아니라 데이터의 부족한 부분부터 살펴보세요. 가장 흔한 데이터 격차와 이에 적합한 도구는 다음과 같습니다.

드문 결함 및 이상 징후#

드문 결함 유형의 실제 사례는 수집하기 어려울 수 있습니다. 테스트해 볼 만한 두 가지 접근 방식은 다음과 같습니다.

• 실제 이미지에 결함을 생성합니다. Ultralytics와 NVIDIA의 테스트에서는 NVIDIA Cosmos Data Factory가 결함 이미지를 생성하고 자동으로 레이블을 지정한 다음 실제 학습 이미지에 추가했습니다. 공개된 보고서에 따르면 합성 데이터 테스트에 포함된 모든 데이터셋에서 재현율이 향상되었습니다. Cosmos 생성 단계는 현재 샘플 및 데모이며, 정식으로 출시된 통합 기능은 아닙니다.
• 복사-붙여넣기 증강. 폴리곤 레이블을 사용하는 세그멘테이션 또는 OBB 학습에서 copy_paste을 활성화하면 이미지 내 또는 이미지 간에 객체를 복사하여 드문 클래스의 출현 빈도를 높일 수 있습니다. 기본적으로 비활성화되어 있습니다.

생산 라인에서 결함 감지가 어떤 역할을 하는지 알아보려면 제조 분야의 컴퓨터 비전을 참조하세요.

로봇, 창고 및 픽 앤 플레이스#

3D로 객체와 공간을 모델링할 수 있다면, 시뮬레이션을 통해 모든 이미지에 레이블을 생성하고 렌더링마다 포즈, 조명, 복잡도를 바꿀 수 있습니다. 이를 도메인 무작위화라고 합니다. NVIDIA 하드웨어에서 로보틱스 시뮬레이션을 수행하려면 Omniverse Replicator와 함께 NVIDIA Isaac Sim을 고려하고, 이미 보유한 3D 모델에서 스크립트로 렌더링하려면 BlenderProc를 고려해 보세요. 로보틱스 컴퓨터 비전에 대해 자세히 알아보세요.

자율주행, 드론 및 멀티센서 시스템#

카메라, 라이다, 레이더 시뮬레이션 또는 폐루프 테스트에는 멀티센서 자율주행을 위해 구축된 플랫폼을 고려해 보세요. Parallel Domain은 실제 주행 및 비행 로그에서 재구성 데이터를 생성합니다. Anyverse는 주행, 차량 내부 및 방위 산업용 센서별 출력을 시뮬레이션합니다. Duality AI Falcon은 항공 및 오프로드 자율주행에 중점을 둡니다.

위성, SAR 및 기타 비가시 센서#

Rendered.ai는 SAR, 적외선, 열화상, 다중분광, 초분광 및 X선 시뮬레이션을 제공합니다. Anyverse는 근적외선 및 열화상 출력을 제공합니다.

다양성이 더 필요한 소규모 데이터셋#

모델이 실제로 접하게 될 조건을 반영하는 증강부터 시작하세요. 레이블이 그대로 유지되기 때문입니다. 객체 탐지 학습을 위해 Ultralytics YOLO는 모자이크, 색상 변경, 크기 조정, 이동 및 수평 뒤집기를 기본적으로 활성화하며, 자체 Albumentations 변환을 추가할 수도 있습니다. 다른 조명, 배경 또는 시점처럼 촬영할 수 없는 조건을 증강으로 충분히 다루기 어렵다면, 장면과 레이블 지정 방식에 따라 생성형 변형 또는 시뮬레이션을 테스트해 보세요.

합성 데이터의 효과를 테스트하는 방법#

합성 데이터는 실제 이미지에서 모델의 성능이 향상될 때만 가치가 있습니다. 동일한 실험을 두 번 실행하고 학습 이미지만 바꾸세요:

1. 실제 테스트 이미지를 별도로 확보합니다. 모델이 실행될 환경의 실제 이미지로 테스트 세트를 구성하고, 합성 이미지는 여기에 절대 추가하지 않습니다.
2. 실제 이미지만으로 기준 모델을 학습합니다.
3. 실제 이미지와 합성 이미지를 함께 사용해 다시 학습합니다. 모델, 에포크, 옵티마이저 및 시드는 동일하게 유지합니다.
4. 실제 검증 이미지로 학습 구성을 선택합니다. 합성 데이터의 여러 비율을 시도한다면 실제 검증 이미지에서 비교합니다. 그런 다음 변경하지 않은 실제 테스트 세트에서 기준 모델과 선택한 학습 구성만 평가합니다. mAP_50-95와 재현율을 확인하고, 박스 정밀도가 중요하다면 mAP₇₅도 확인합니다.

Ultralytics YOLO에서는 학습 분할에 여러 폴더를 지정할 수 있으므로, 실제 이미지와 합성 이미지를 디스크에서 분리해 둘 수 있습니다. real.yaml도 같은 방식으로 만들고, train에는 images/train_real만 지정합니다. 거의 중복되는 이미지와 같은 장면의 이미지는 동일한 분할에 두고, 합성 이미지는 학습 이미지에서만 생성합니다:

# real_plus_synthetic.yaml
path: datasets/defects
train: [images/train_real, images/train_synthetic] # real + synthetic training images
val: images/val_real # real images only
test: images/test_real # real images only, never seen in training
names:
  0: scratch
  1: dent

from ultralytics import YOLO

runs = {}
for name, data in [("real only", "real.yaml"), ("real + synthetic", "real_plus_synthetic.yaml")]:
    model = YOLO("yolo26n.pt")
    model.train(  # same recipe for both runs
        data=data, epochs=100, imgsz=640, batch=16,
        optimizer="AdamW", lr0=0.001, seed=0,
    )
    runs[name] = model.trainer.best  # path to the best weights

for name, weights in runs.items():
    metrics = YOLO(weights).val(data="real_plus_synthetic.yaml", split="test")  # same real test set
    print(f"{name}: mAP50-95 {metrics.box.map:.3f}, mAP75 {metrics.box.map75:.3f}")

이 실험은 동일한 학습 구성으로 합성 이미지를 사용한 경우와 사용하지 않은 경우를 비교하며, 동일한 실제 테스트 이미지에서 평가합니다. 에포크 수가 같으면 데이터셋이 더 큰 쪽에서 학습 스텝이 더 많아지므로, 작은 차이를 신뢰하기 전에 여러 시드로 반복하세요. 모든 설정은 학습 및 검증 문서를 참조하고, 결과 해석은 모델 평가 인사이트를 참조하세요.

합성 데이터가 테스트되어 효과를 보인 데이터셋에서 실제 이미지만 사용한 경우와 생성된 결함을 사용한 경우의 mAP₇₅입니다. Ultralytics 및 NVIDIA 테스트 결과입니다.

Ultralytics에서 측정한 결과#

• 생성된 결함(Ultralytics 및 NVIDIA 테스트). 폴리곤 레이블이 있는 산업 검사 데이터셋에서 NVIDIA Cosmos Data Factory로 생성한 결함과 실제 이미지를 함께 사용해 학습한 Ultralytics YOLO26x를 실제 이미지만으로 학습한 동일 모델과 비교했습니다. DAGM 클래스에서 mAP₇₅가 0.11~0.32 상승했으며, 예를 들어 DAGM 클래스 9에서는 0.650에서 0.966으로 상승했습니다. Real-IAD에서는 0.008 상승했습니다. 두 모델은 동일한 학습 구성과 별도로 확보한 동일한 테스트 세트를 사용했습니다(전체 결과).
• 합성 깊이 데이터. YOLO26 깊이 모델은 약 219만 개 이미지의 혼합 데이터로 사전 학습되며, 여기에는 렌더링된 장면의 조밀한 깊이 정답 데이터를 제공하는 Hypersim과 같은 합성 데이터셋이 포함됩니다. 창문이나 하늘처럼 유효하지 않은 픽셀은 마스킹됩니다. 합성 데이터는 잡음이 더 많은 실제 센서 데이터를 대체하기보다는 보완합니다.
• 공개 데이터셋의 생성 이미지. Ultralytics Construction-PPE는 사람이 수집한 이미지와 생성 이미지를 결합한 데이터셋으로, 1,000개 이미지와 12개 클래스를 포함하며 CC BY 4.0 라이선스로 공개됩니다. 별도의 테스트 분할은 없으며, 문서에서는 자체 배포 환경의 독립적인 이미지로 평가할 것을 권장합니다.

합성 데이터를 얼마나 추가해야 할까요?#

보편적으로 적용되는 비율은 없으므로 테스트할 설정으로 다루세요. Ultralytics 및 NVIDIA 테스트에서는 합성 이미지 수를 실제 학습 이미지의 25% 또는 100%로 제한했습니다. 이는 실제 이미지 4개당 합성 이미지 1개를 사용하거나 실제 이미지와 합성 이미지를 1:1로 사용하는 것입니다. 생성된 이미지 11,448개 중 1,481개만 사용했습니다. 적은 양부터 시작하고, 실제 검증 이미지로 비율을 선택하며, 변경하지 않은 실제 테스트 세트는 최종 비교에 사용하세요.

Ultralytics를 활용할 수 있는 영역#

Ultralytics는 3D 시뮬레이션 엔진을 판매하지 않습니다. 대신 합성 데이터와 관련된 다음 단계를 지원합니다:

• 학습 및 비교. Ultralytics YOLO는 자체 하드웨어 또는 Ultralytics Platform의 클라우드 GPU에서 YOLO 형식의 실제 이미지와 합성 이미지 조합을 학습할 수 있습니다.
• 실제 이미지에 다양성 추가. Ultralytics Platform의 Generate Similar Images는 배치마다 이미지 한 장의 변형을 최대 16개까지 생성하며, "조명을 바꿔 주세요" 또는 "비를 추가해 주세요"와 같은 지시를 선택적으로 지정할 수 있습니다.
• 생성한 이미지에 레이블 지정. Ultralytics Platform의 스마트 어노테이션은 SAM 3.1, YOLO 및 YOLOE를 사용해 새 이미지에 레이블을 지정하며, 전체 데이터셋을 대상으로 배치 단위로 처리할 수도 있습니다.
• 기본 증강. Ultralytics YOLO 학습에는 기본 제공 증강이 포함되며, 사용자 지정 Albumentations 변환도 지원합니다.