컴퓨터 비전에서 합성 데이터란 무엇인가요? 개요

데이터는 분석 및 인공지능 (AI)과 같은 분야를 발전시키는 핵심 요소로 항상 자리해 왔습니다. 실제로 데이터를 수집하고 생성하며 사용하는 방식은 지능형 시스템의 미래를 형성하고 있습니다. 예를 들어 자율주행 자동차는 도로 표지판부터 보행자의 움직임까지 수백만 개의 라벨링된 이미지와 센서 판독값에 의존해 안전하게 도로를 주행하는 방법을 학습합니다.

이러한 발전을 뒷받침하는 가장 중요한 데이터 유형 중 하나는 특히 자율주행 차량과 보안 분야에서 활용되는 이미지와 동영상 같은 시각 데이터입니다.

특히 기계가 이러한 시각 정보를 해석할 수 있도록 하는 AI 분야를 컴퓨터 비전이라고 합니다. 컴퓨터 비전은 시스템이 사람과 유사한 방식으로 시각적 입력을 이해하고 분석하도록 지원하며, 얼굴 인식, 교통 표지판 탐지, 의료 영상 분석과 같은 작업에 활용됩니다.

그러나 실제 환경에서 대규모의 고품질 시각 데이터셋을 수집하는 일은 시간이 많이 걸리고 비용이 많이 들며, 개인정보 보호 문제를 일으키는 경우도 많습니다. 이러한 이유로 연구자들은 합성 데이터를 활용하는 개념을 적극적으로 탐구하고 있습니다.

합성 데이터는 실제 이미지와 동영상을 매우 유사하게 모방하는 인공적으로 생성된 시각 자료를 의미합니다. 합성 데이터는 3D 모델링, 컴퓨터 시뮬레이션, 그리고 생성적 적대 신경망 (GANs)과 같은 생성형 AI 기법을 사용해 생성됩니다. 이러한 기법은 실제 데이터에서 패턴을 학습하여 사실적인 새로운 예시를 만들어 냅니다.

합성 데이터는 가까운 미래에 AI 개발에서 핵심적인 역할을 할 것으로 예상됩니다. Gartner는 2030년까지 합성 데이터가 실제 데이터보다 더 중요해질 것으로 전망하고 있습니다. 이 글에서는 컴퓨터 비전의 맥락에서 합성 데이터가 무엇인지, 어떻게 생성되는지, 실제 환경에서 어디에 적용되고 있는지 살펴보겠습니다. 시작해 보겠습니다!

컴퓨터 비전에서 합성 데이터란 무엇인가요?#

다양한 환경과 조건에서 객체를 탐지하도록 비전 AI 모델을 학습시키려 한다고 가정해 보겠습니다. 실제 데이터에만 의존하면 어려움이 따르고 때로는 한계를 느낄 수 있습니다.

반면 합성 데이터를 사용하면 인공적으로 생성된 다양한 조건에 객체가 포함된 적합한 데이터셋을 만들 수 있습니다. 3D 모델링과 시뮬레이션 같은 도구를 사용하면 개발자가 조명, 각도, 객체 배치와 같은 요소를 정밀하게 제어하여 이미지를 생성할 수 있습니다. 따라서 실제 데이터보다 모델 학습에 더 큰 유연성을 제공합니다.

합성 데이터는 실제 데이터를 수집하기 어렵거나 불가능할 때 특히 유용합니다. 예를 들어 달리기, 웅크리기, 눕기와 같이 매우 다양한 자세의 사람을 인식하도록 모델을 학습시키려면 여러 설정, 각도, 조명 조건에서 수천 장의 사진을 촬영해야 합니다.

반면 합성 데이터를 사용하면 개발자가 정확한 라벨과 함께 이러한 변형을 손쉽게 생성할 수 있으므로 시간과 노력을 절약하면서 모델 성능을 향상할 수 있습니다.

그림 1. 다양한 사람의 자세와 조명 변형이 포함된 합성 데이터셋 (출처).

AI에서 합성 데이터와 실제 데이터 비교#

이제 합성 데이터와 실제 데이터의 차이점을 자세히 살펴보겠습니다. 두 데이터 유형 모두 AI 모델 학습에 사용될 때 장단점이 있습니다.

예를 들어 합성 데이터는 실제 데이터를 수집하기 어려울 때 유용하지만, 실제 환경에서 발견되는 모든 세부 사항을 담아내지 못할 수 있습니다. 반면 실제 데이터는 더욱 사실적이지만 확보하기 어렵고 라벨링에 시간이 많이 걸리며 모든 상황을 포괄하지 못할 수 있습니다.

합성 데이터와 실제 데이터를 결합하면 개발자는 두 데이터의 장점을 모두 활용할 수 있습니다. 이러한 균형은 AI 모델이 더욱 정확하게 학습하고 다양한 시나리오에서 더 잘 일반화하며 편향을 줄이는 데 도움이 됩니다.

그림 2. AI에서 합성 데이터와 실제 데이터 비교. 이미지 제작: 저자.

컴퓨터 비전 모델을 위한 데이터 생성 살펴보기#

3D 도구로 가상 세계를 구축하는 방법부터 생성형 AI를 사용해 이미지를 생성하는 방법까지, 컴퓨터 비전 모델에 사용할 합성 학습 데이터를 만드는 데 활용되는 일반적인 방법은 다음과 같습니다.

• 3D 모델링: 개발자는 3D 소프트웨어를 사용해 디지털 객체와 장면을 생성합니다. 이를 통해 조명, 카메라 각도, 객체 배치 등을 완전히 제어할 수 있으며 사람, 차량, 환경의 사실적인 이미지를 생성하는 데 유용합니다.
• 시뮬레이션: 물리 기반 엔진을 사용해 교통 상황이나 공장 환경과 같은 실제 상황을 재현합니다. 시뮬레이션은 로보틱스와 자율주행 자동차 같은 분야에서 안전하게 학습 데이터를 생성하는 데 유용합니다.
• 생성적 적대 신경망: GANs는 두 개의 네트워크로 구성된 딥러닝 모델 유형입니다. 하나는 이미지를 생성하고 다른 하나는 이미지를 평가합니다. 두 네트워크는 실제 예시를 학습하여 사람 얼굴이나 거리 풍경과 같이 매우 사실적인 이미지를 생성합니다.
• 절차적 생성: 이 기법은 미리 정의된 규칙이나 수학적 모델을 사용해 지형, 건물, 텍스처와 같은 복잡한 시각 구조를 자동으로 생성합니다. 게임 및 시뮬레이션 플랫폼에서 자주 사용되며, 최소한의 사람 개입만으로 대규모의 다양한 데이터셋을 생성할 수 있습니다.
• 도메인 무작위화: 합성 장면에서 조명, 색상, 객체 형태와 같은 요소를 무작위로 변경할 수 있습니다. 이 기법의 목표는 모델이 실제로 중요한 요소에 집중하도록 하여 실제 환경에 더 잘 적응하게 만드는 것입니다.

그림 3. 데이터 예시: (a) 3D 모델 기반 이미지, (b) 합성 다중 객체 장면, (c) 실제 데이터셋 이미지 (출처).

합성 데이터를 활용한 비전 AI 모델 학습#

합성 데이터를 생성하는 여러 방법을 살펴보았으니, 이제 AI 모델 학습에 합성 데이터가 어떻게 사용되는지 알아보겠습니다.

합성 데이터는 생성된 후 일반적으로 실제 데이터와 동일한 방식으로 학습 파이프라인에 직접 통합할 수 있습니다. 합성 데이터에는 일반적으로 객체 라벨, 바운딩 박스, 세그멘테이션 마스크와 같은 필수 어노테이션이 포함되므로, 수동 라벨링 없이도 모델이 라벨링된 입력-출력 쌍에서 학습하는 지도 학습 작업에 사용할 수 있습니다.

학습 중 모델은 합성 이미지를 처리하여 특징을 탐지하고, 패턴을 인식하며, 객체를 분류하는 방법을 학습합니다. 이러한 데이터는 모델의 초기 버전을 처음부터 구축하거나 기존 데이터셋을 확장하는 데 사용할 수 있어 모델 성능 향상에 도움이 됩니다.

많은 워크플로에서 합성 데이터는 사전 학습에도 사용되어 모델이 실제 예시로 파인튜닝되기 전에 폭넓은 기초 이해를 갖추도록 합니다. 또한 다양한 조명 조건, 각도, 희귀 객체 클래스와 같이 통제된 변형을 도입해 데이터셋을 증강하는 데 사용되며, 일반화 성능을 높이고 과적합을 줄이는 데 도움이 됩니다.

합성 데이터와 실제 데이터를 결합하면 팀은 더욱 다양한 조건에서 우수한 성능을 발휘하는 견고한 모델을 학습시키는 동시에, 시간이 많이 걸리고 비용이 높은 수동 데이터 수집에 대한 의존도를 줄일 수 있습니다.

컴퓨터 비전에서 합성 데이터의 실제 적용 사례#

합성 데이터가 더욱 실용적이고 접근하기 쉬워지면서 다양한 실제 비전 AI 활용 사례에 도입되기 시작했습니다. 합성 데이터가 사용되고 있는 가장 영향력 있는 컴퓨터 비전 애플리케이션을 살펴보겠습니다.

자율주행 차량의 객체 탐지에 합성 데이터 사용#

자율주행 자동차가 안전하게 주행하도록 가르치려면 드물거나 위험한 상황을 포함한 광범위한 시나리오로 모델을 학습시켜야 합니다. 그러나 이러한 엣지 케이스에 대한 실제 데이터를 수집하는 일은 어렵고 때로는 안전하지 않을 수 있습니다. 합성 데이터는 모델이 어려운 상황에서 객체를 탐지하는 방법을 학습할 수 있는 장면을 만드는 데 도움이 됩니다. 또한 다양한 센서 구성을 모방할 수 있어, 모든 자율주행 자동차가 동일한 하드웨어를 사용하는 것은 아니라는 점에서 유용합니다.

NVIDIA의 DRIVE Sim 플랫폼이 대표적인 예입니다. 이 플랫폼은 포토리얼리스틱 3D 모델, 가상 환경, 센서 시뮬레이션을 사용해 고품질 합성 데이터를 생성합니다. 단일 이미지에서 여러 주행 각도의 이미지도 생성할 수 있습니다. 이와 같은 합성 데이터를 사용하면 비용이 많이 드는 실제 환경 테스트의 필요성을 줄이면서도 모델이 효과적으로 학습하는 데 필요한 다양성을 제공할 수 있습니다.

그림 4. 한 이미지에서 여러 주행 시점 생성 (출처).

합성 데이터를 활용한 의료 영상 AI의 편향 감소#

객체 탐지와 인스턴스 세그멘테이션 같은 작업을 지원하는 Ultralytics YOLO11과 같은 컴퓨터 비전 모델은 의료 영상 애플리케이션에 맞게 커스텀 학습할 수 있습니다. 그러나 실제 학습 데이터에는 모든 인구통계학적 집단의 환자가 충분히 대표되지 않을 수 있어 편향이 포함되는 경우가 많습니다.

예를 들어 피부암은 피부색이 어두운 사람에게서 진단되는 빈도가 낮아 해당 집단에 대한 데이터가 제한적입니다. 이러한 불균형은 특히 조직병리학, 흉부 X선, 피부과와 같은 분야에서 오진과 불평등한 의료 결과를 초래할 수 있습니다.

합성 이미지는 이러한 데이터 격차를 해소하는 데 한 걸음 더 나아가는 데 기여할 수 있습니다. 다양한 조직 이상, 폭넓은 폐 질환, 서로 다른 병변 유형을 가진 다양한 피부색과 같은 추가적이고 다채로운 예시를 생성함으로써 합성 데이터는 충분히 대표되지 않는 집단에서 모델 성능을 향상하는 데 도움이 될 수 있습니다.

연구자들은 현재 이러한 목표를 지원하기 위한 합성 데이터셋을 개발하고 검증하는 작업을 진행하고 있습니다. 또한 실제 환자 기록에 의존하지 않고 합성 데이터를 사용해 의료 도구를 테스트하고 치료 전략을 검증하는 방법도 탐구하고 있습니다. 이를 통해 환자 개인정보를 보호하면서 연구를 가속화할 수 있습니다. 이러한 노력으로 합성 데이터는 더욱 포용적이고 정확하며 윤리적인 의료 AI 시스템을 위한 길을 열고 있습니다.

정밀 농업을 위한 합성 데이터로 농업 AI 발전#

농업 애플리케이션을 위한 Vision AI 시스템을 구축하려면 대량의 라벨링된 데이터에 접근할 수 있어야 합니다. 그러나 작물, 질병, 밭 상태의 사진을 수집하고 라벨링하는 일은 느리고 비용이 많이 들며, 날씨, 재배 시기, 특정 지역에 접근하기 어려운 정도와 같은 요인으로 제한되는 경우가 많습니다.

이러한 문제로 인해 컴퓨터 비전 모델이 식물 질병 탐지, 작물 모니터링, 수확량 예측과 같은 작업을 처리하도록 학습시키기 어려워집니다. 이때 합성 데이터가 다양한 농업 환경을 모방하여 유용한 학습 예시를 생성함으로써 도움을 줄 수 있습니다.

그림 5. 질병 탐지 향상을 위한 합성 이미지 사용 (출처).

핵심 요점#

합성 데이터를 사용하는 것은 AI 모델 학습, 특히 실제 데이터가 제한적이거나 확보하기 어려운 분야의 컴퓨터 비전 시스템에서 중요한 발전 단계입니다. 비용과 시간이 많이 들거나 개인정보 보호 문제를 일으킬 수 있는 실제 사진이나 동영상에만 의존하는 대신, 합성 데이터를 사용하면 사실적이고 라벨링된 이미지를 필요할 때 생성할 수 있습니다.

이를 통해 자율주행, 질병 탐지, 작물 모니터링과 같은 작업을 위한 비전 AI 모델을 더욱 쉽게 학습시킬 수 있습니다. AI가 계속 발전함에 따라 합성 데이터는 산업 전반에서 혁신을 가속화하고 접근성을 향상하는 데 더욱 큰 역할을 할 것으로 예상됩니다.

GitHub 리포지토리에서 AI에 대해 더 알아보고, 성장하고 있는 커뮤니티에 참여해 보세요. 자율주행 차량의 AI와 농업의 컴퓨터 비전 같은 애플리케이션이 미치는 영향을 확인해 보세요. 라이선싱 옵션을 살펴보고 비전 AI 프로젝트를 실현해 보세요.