컴퓨터 비전에서 합성 데이터란 무엇인가요? 개요

데이터는 분석 및 인공지능(AI)과 같은 분야에서 늘 발전을 이끄는 핵심 요소였습니다. 실제로 데이터를 수집하고 생성하며 활용하는 방식은 지능형 시스템의 미래를 만들어가고 있습니다. 예를 들어 자율주행차는 도로 표지판부터 보행자의 움직임까지, 라벨이 지정된 수백만 장의 이미지와 센서 판독값을 바탕으로 도로를 안전하게 주행하는 방법을 학습합니다.

이러한 발전을 이끄는 가장 중요한 데이터 유형 중 하나는 특히 자율주행차와 보안 분야에서 활용되는 이미지와 비디오 같은 시각 데이터입니다.

특히 기계가 이러한 시각 정보를 해석할 수 있도록 하는 AI 분야를 컴퓨터 비전이라고 합니다. 컴퓨터 비전은 시스템이 사람처럼 시각적 입력을 이해하고 분석하도록 돕고, 얼굴 인식, 교통 표지판 탐지, 의료 영상 분석 등의 작업을 지원합니다.

하지만 현실 세계에서 대규모 고품질 시각 데이터 세트를 수집하려면 시간이 오래 걸리고 비용이 많이 들며, 개인정보 보호 문제가 발생하는 경우도 많습니다. 이에 연구자들은 합성 데이터를 활용하는 방법을 적극적으로 탐구하고 있습니다.

합성 데이터는 실제 이미지와 비디오를 매우 유사하게 모방하도록 인공적으로 생성한 시각 데이터를 말합니다. 합성 데이터는 3D 모델링, 컴퓨터 시뮬레이션, 실제 데이터에서 패턴을 학습해 현실적인 새 사례를 생성하는 생성적 적대 신경망(GANs) 같은 생성형 AI 기법을 사용해 만들어집니다.

Gartner는 2030년까지 합성 데이터가 실제 데이터보다 더 중요해질 것으로 전망하고 있으며, 합성 데이터는 곧 AI 개발에서 핵심적인 역할을 할 것으로 예상됩니다. 이 글에서는 컴퓨터 비전에서 합성 데이터가 무엇인지, 어떻게 생성되는지, 실제 환경에서 어떻게 적용되는지 살펴보겠습니다.

컴퓨터 비전에서 합성 데이터란 무엇인가요?#

다양한 환경과 조건에서 객체를 탐지하도록 비전 AI 모델을 학습시킨다고 가정해 보겠습니다. 실제 데이터에만 의존하면 어려움이 따르고 때로는 한계가 있다고 느낄 수 있습니다.

반면 합성 데이터를 사용하면 인공적으로 조성한 다양한 조건에서 객체를 포함하는 적합한 데이터 세트를 만들 수 있습니다. 개발자는 3D 모델링과 시뮬레이션 같은 도구를 사용해 조명, 각도, 객체 배치와 같은 요소를 정밀하게 제어하며 이미지를 생성할 수 있습니다. 따라서 합성 데이터는 실제 데이터보다 모델 학습에 더 큰 유연성을 제공합니다.

실제 데이터를 수집하기 어렵거나 불가능한 경우 합성 데이터가 특히 유용합니다. 예를 들어 달리기, 쪼그려 앉기, 누워 있기 등 다양한 자세의 사람을 인식하도록 모델을 학습시키려면 여러 환경, 각도, 조명 조건에서 수천 장의 사진을 촬영해야 합니다.

반면 합성 데이터를 사용하면 개발자는 정확한 라벨이 포함된 이러한 변형 데이터를 쉽게 생성할 수 있어 시간과 노력을 절약하고 모델 성능도 향상할 수 있습니다.

그림 1. 다양한 사람의 자세와 조명 변화를 포함하는 합성 데이터 세트 (출처).

AI에서 합성 데이터와 실제 데이터 비교#

이제 합성 데이터와 실제 데이터의 차이를 자세히 살펴보겠습니다. AI 모델 학습에서 두 데이터 유형은 각각 장단점이 있습니다.

예를 들어 실제 데이터를 수집하기 어려울 때 합성 데이터가 유용하지만, 현실의 세세한 부분을 모두 포착하지 못할 수도 있습니다. 반면 실제 데이터는 더 사실적이지만 확보하기 어렵고, 라벨링에 시간이 오래 걸리며, 모든 상황을 포함하지 못할 수도 있습니다.

합성 데이터와 실제 데이터를 결합하면 개발자는 두 데이터 유형의 장점을 모두 활용할 수 있습니다. 이러한 균형은 AI 모델이 더 정확하게 학습하고 다양한 시나리오에 더 잘 일반화하며 편향을 줄이는 데 도움이 됩니다.

그림 2. AI에서 합성 데이터와 실제 데이터 비교. 이미지 제작자 제공.

컴퓨터 비전 모델을 위한 데이터 생성 살펴보기#

3D 도구로 가상 세계를 구축하는 방법부터 생성형 AI를 사용해 이미지를 생성하는 방법까지, 컴퓨터 비전 모델을 위한 합성 학습 데이터를 만드는 일반적인 방법은 다음과 같습니다:

• 3D 모델링: 개발자는 3D 소프트웨어를 사용해 디지털 객체와 장면을 만듭니다. 이 방식은 조명, 카메라 각도, 객체 배치 등을 완벽하게 제어할 수 있어 사람, 차량, 환경의 사실적인 이미지를 생성하는 데 유용합니다.
• 시뮬레이션: 물리 기반 엔진을 사용해 교통이나 공장 환경 같은 현실 세계의 상황을 재현합니다. 시뮬레이션은 로보틱스와 자율주행차 같은 분야에서 안전하게 학습 데이터를 생성하는 데 유용합니다.
• 생성적 적대 신경망: GANs는 두 개의 네트워크, 즉 이미지를 생성하는 네트워크와 이미지를 평가하는 네트워크로 구성된 딥러닝 모델의 한 유형입니다. 두 네트워크는 실제 사례를 학습해 사람 얼굴이나 거리 풍경과 같이 매우 사실적인 이미지를 함께 생성합니다.
• 절차적 생성: 이 기법은 미리 정의된 규칙이나 수학적 모델을 사용해 지형, 건물, 텍스처와 같은 복잡한 시각 구조를 자동으로 생성합니다. 게임 및 시뮬레이션 플랫폼에서 자주 사용되며, 사람의 개입을 최소화하면서 대규모의 다양한 데이터 세트를 생성할 수 있습니다.
• 도메인 랜덤화: 합성 장면의 조명, 색상, 객체 형태 등을 무작위로 변경할 수 있습니다. 이 기법의 목적은 모델이 정말 중요한 요소에 집중하도록 하여 실제 환경에 더 잘 적응하게 하는 것입니다.

그림 3. 데이터 예시: (a) 3D 모델 기반, (b) 합성 다중 객체 장면, (c) 실제 데이터 세트 이미지 (출처).

합성 데이터를 활용한 비전 AI 모델 학습#

합성 데이터를 만드는 다양한 방법을 살펴보았으니, 이제 AI 모델 학습에 합성 데이터가 어떻게 사용되는지 알아보겠습니다.

생성된 합성 데이터는 일반적으로 실제 데이터와 동일한 방식으로 학습 파이프라인에 바로 통합할 수 있습니다. 합성 데이터에는 객체 라벨, 바운딩 박스, 세그멘테이션 마스크 등 필요한 어노테이션이 포함되는 경우가 많습니다. 따라서 모델이 라벨이 지정된 입력-출력 쌍으로 학습하는 지도 학습 작업에 수동 라벨링 없이 사용할 수 있습니다.

학습 중 모델은 합성 이미지를 처리하며 특징을 탐지하고, 패턴을 인식하며, 객체를 분류하는 방법을 학습합니다. 이 데이터는 모델의 초기 버전을 처음부터 구축하거나 기존 데이터 세트를 보강하는 데 사용할 수 있어 모델 성능을 높이는 데 도움이 됩니다.

많은 워크플로에서 합성 데이터는 사전 학습에도 사용되어, 모델이 실제 사례로 미세 조정되기 전에 폭넓은 기초 이해를 갖추도록 합니다. 또한 다양한 조명 조건, 각도, 희귀 객체 클래스와 같은 제어된 변형을 추가해 데이터 세트를 증강하는 데 사용되며, 이를 통해 일반화 성능을 높이고 과적합을 줄일 수 있습니다.

합성 데이터와 실제 데이터를 결합하면 팀은 시간과 비용이 많이 드는 수동 데이터 수집에 대한 의존도를 낮추면서 다양한 조건에서 우수한 성능을 발휘하는 더욱 견고한 모델을 학습시킬 수 있습니다.

컴퓨터 비전에서 합성 데이터의 실제 활용 사례#

합성 데이터의 실용성과 접근성이 높아지면서 다양한 실제 비전 AI 사용 사례에 도입되기 시작했습니다. 합성 데이터가 활용되는 가장 영향력 있는 컴퓨터 비전 애플리케이션을 살펴보겠습니다.

자율주행차 객체 탐지에 합성 데이터 활용#

자율주행차가 안전하게 주행하도록 학습시키려면 드물거나 위험한 상황을 포함한 다양한 시나리오로 모델을 학습해야 합니다. 하지만 이러한 예외 상황에 대한 실제 데이터를 수집하는 일은 어렵고 때로는 위험할 수 있습니다. 합성 데이터는 모델이 까다로운 상황에서 객체를 탐지하는 방법을 학습할 장면을 만드는 데 도움이 됩니다. 또한 다양한 센서 구성을 모방할 수 있어, 자율주행차마다 동일한 하드웨어를 사용하지 않는 문제를 보완합니다.

NVIDIA DRIVE Sim 플랫폼은 이러한 사례의 좋은 예입니다. 이 플랫폼은 사실적인 3D 모델, 가상 환경, 센서 시뮬레이션을 사용해 고품질 합성 데이터를 생성합니다. 하나의 이미지에서 여러 주행 각도의 이미지도 생성할 수 있습니다. 이와 같은 합성 데이터를 사용하면 모델 학습에 필요한 다양성을 유지하면서 비용이 많이 드는 실제 테스트의 필요성을 줄일 수 있습니다.

그림 4. 한 이미지에서 여러 주행 시점 생성 (출처).

합성 데이터를 활용해 의료 영상 AI의 편향 줄이기#

객체 탐지와 인스턴스 세그멘테이션 같은 작업을 지원하는 Ultralytics YOLO11과 같은 컴퓨터 비전 모델은 의료 영상 애플리케이션에 맞게 맞춤 학습할 수 있습니다. 그러나 실제 학습 데이터는 모든 인구통계 그룹의 환자를 적절히 대표하지 못할 수 있어 편향을 포함하는 경우가 많습니다.

예를 들어 피부암은 피부색이 짙은 사람에게서 진단되는 빈도가 더 낮아 해당 집단의 데이터가 제한적입니다. 이러한 불균형은 특히 조직병리학, 흉부 X선, 피부과 등의 분야에서 오진과 불평등한 의료 결과로 이어질 수 있습니다.

합성 이미지는 이러한 데이터 격차를 줄이는 데 도움이 됩니다. 다양한 조직 이상, 폭넓은 폐 질환, 여러 병변 유형이 나타나는 다양한 피부색과 같은 추가 사례를 생성하면 대표성이 부족한 집단 전반에서 모델 성능을 개선할 수 있습니다.

연구자들은 현재 이러한 목표를 지원하기 위해 합성 데이터 세트를 개발하고 검증하고 있습니다. 또한 실제 환자 기록에 의존하지 않고 의료 도구를 테스트하고 치료 전략을 평가하는 데 합성 데이터를 활용하는 방법도 탐구하고 있습니다. 이를 통해 환자의 개인정보를 보호하면서 연구를 가속화할 수 있습니다. 이러한 연구는 더 포용적이고 정확하며 윤리적인 의료 AI 시스템을 구현하는 기반이 되고 있습니다.

정밀 농업을 위한 합성 데이터로 농업 AI 발전시키기#

농업 분야에 적용할 비전 AI 시스템을 구축하려면 라벨이 지정된 대량의 데이터가 필요합니다. 하지만 작물, 질병, 밭 상태를 촬영하고 라벨링하는 일은 시간이 오래 걸리고 비용이 많이 들며, 날씨와 재배 시기 또는 특정 지역에 접근하기 어려운 문제 등으로 제한되는 경우가 많습니다.

이러한 과제 때문에 컴퓨터 비전 모델은 식물 질병 탐지, 작물 모니터링, 수확량 예측과 같은 작업을 수행하기 어렵습니다. 이때 합성 데이터를 사용하면 다양한 농업 환경을 모방해 유용한 학습 사례를 생성할 수 있습니다.

그림 5. 질병 탐지 개선을 위한 합성 이미지 활용 (출처).

핵심 요점#

합성 데이터의 활용은 AI 모델 학습의 중요한 발전이며, 특히 실제 데이터가 제한적이거나 확보하기 어려운 분야의 컴퓨터 비전 시스템에서 더욱 중요합니다. 비용과 시간이 많이 들거나 개인정보 보호 문제를 일으킬 수 있는 실제 사진이나 비디오에만 의존하는 대신, 합성 데이터를 사용하면 필요할 때마다 사실적인 라벨 지정 이미지를 생성할 수 있습니다.

합성 데이터는 자율주행, 질병 탐지, 작물 모니터링과 같은 작업을 수행하는 비전 AI 모델을 더 쉽게 학습시킬 수 있도록 합니다. AI가 계속 발전함에 따라 합성 데이터는 혁신을 가속화하고 산업 전반의 접근성을 높이는 데 더욱 큰 역할을 할 것입니다.

GitHub 저장소에서 AI에 대해 자세히 알아보고, 성장하는 커뮤니티에 참여해 보세요. 자율주행차 분야의 AI와 농업 분야의 컴퓨터 비전 같은 애플리케이션의 영향을 알아보세요. 라이선스 옵션을 살펴보고 비전 AI 프로젝트를 시작해 보세요.