컴퓨터 비전에서 합성 데이터란 무엇인가? 개요

데이터는 분석 및 인공지능(AI)과 같은 분야에서 항상 핵심적인 추진 요인이었습니다. 사실, 데이터를 수집, 생성, 사용하는 방식이 지능형 시스템의 미래를 형성하고 있습니다. 예를 들어, 자율주행 자동차는 도로 표지판부터 보행자의 움직임에 이르기까지 수백만 개의 라벨링된 이미지와 센서 판독값에 의존하여 도로를 안전하게 주행하는 방법을 학습합니다.

이러한 발전을 뒷받침하는 가장 중요한 데이터 유형 중 하나는 자율주행 차량 및 보안 분야에서 특히 중요한 이미지 및 비디오와 같은 시각 데이터입니다.

특히 기계가 이러한 시각적 정보를 해석할 수 있도록 돕는 AI 분야를 computer vision(컴퓨터 비전)이라고 합니다. 이는 시스템이 인간처럼 시각적 입력을 이해하고 분석하도록 도우며 안면 인식, 교통표지판 감지, 의료 영상 분석 같은 작업을 지원합니다.

그러나 실제 세계에서 대규모의 고품질 시각 데이터셋을 수집하는 것은 시간이 많이 걸리고 비용이 많이 들며, 종종 개인정보 보호 문제를 야기합니다. 이것이 바로 연구자들이 합성 데이터를 활용하는 개념을 적극적으로 탐구하는 이유입니다.

Synthetic data(합성 데이터)란 실제 세상의 이미지와 비디오를 매우 유사하게 모방하여 인공적으로 생성된 시각 자료를 말합니다. 이는 3D 모델링, 컴퓨터 시뮬레이션, 그리고 실제 데이터에서 패턴을 학습해 현실적인 새로운 예시를 만들어내는 Generative Adversarial Networks (GANs)(생성적 적대 신경망)과 같은 생성형 AI 기법을 사용하여 생성됩니다.

합성 데이터는 가까운 미래에 AI development에서 핵심적인 역할을 할 것으로 예상됩니다. 가트너(Gartner)는 2030년까지 합성 데이터가 실제 데이터보다 더 중요해질 것이라고 예측하고 있습니다. 본 글에서는 컴퓨터 비전의 맥락에서 합성 데이터가 무엇이며, 어떻게 생성되고, 실제 시나리오에서 어디에 적용되는지 살펴보겠습니다. 시작해 보겠습니다!

컴퓨터 비전에서의 합성 데이터란 무엇인가요?#

다양한 환경과 조건에서 객체를 감지하도록 vision AI model을 학습시키고 싶다고 가정해 봅시다. 실제 데이터에만 의존하는 것은 어려울 수 있으며 때로는 한계로 느껴질 수 있습니다.

한편 합성 데이터는 인위적으로 조성된 다양한 조건 속의 객체를 포함하는 적절한 데이터셋을 만드는 데 활용될 수 있습니다. 3D modeling 및 시뮬레이션과 같은 도구를 사용하여 개발자는 조명, 각도, 객체 배치 등의 요소를 정밀하게 제어하며 이미지를 생성할 수 있습니다. 결과적으로 이는 실제 데이터보다 모델 학습에 더 큰 유연성을 제공합니다.

합성 데이터는 실제 데이터를 수집하기 어렵거나 불가능할 때 특히 유용합니다. 예를 들어, 달리기, 웅크리기, 누워 있기 등 다양한 자세의 사람을 인식하도록 모델을 학습시키려면 여러 설정, 각도, 조명 조건에서 수천 장의 사진을 촬영해야 할 것입니다.

반면, 합성 데이터를 사용하면 개발자가 이러한 변형을 정확한 라벨과 함께 쉽게 생성할 수 있어 시간과 노력을 절약하면서 모델 성능을 향상시킬 수 있습니다.

그림 1. 다양한 사람의 포즈와 조명 변화가 포함된 합성 데이터셋 (출처).

AI에서의 합성 데이터 대 실제 데이터#

다음으로 합성 데이터와 실제 데이터의 차이점을 더 자세히 살펴보겠습니다. training AI models 관점에서 두 방식 모두 장단점을 가지고 있습니다.

예를 들어, 합성 데이터는 실제 데이터를 수집하기 어려울 때 유용하지만, 실제 생활에서 발견되는 모든 작은 세부 사항을 포착하지 못할 수도 있습니다. 동시에 실제 데이터는 더 진정성이 있지만, 소싱하기 어렵고 라벨링하는 데 시간이 많이 걸리며 모든 상황을 다루지 못할 수도 있습니다.

합성 데이터와 실제 데이터를 결합함으로써 개발자는 두 가지 방식의 장점을 모두 취할 수 있습니다. 이러한 균형은 AI 모델이 더 정확하게 학습하고, 다양한 시나리오에서 더 잘 일반화하며, 편향을 줄이는 데 도움이 됩니다.

그림 2. AI에서의 합성 데이터 대 실제 데이터. 이미지 제공: 저자.

컴퓨터 비전 모델을 위한 데이터 생성 살펴보기#

3D 도구를 이용한 가상 세계 구축부터 생성형 AI를 이용한 이미지 생성에 이르기까지, 컴퓨터 비전 모델을 위한 합성 training data를 만드는 데 사용되는 몇 가지 일반적인 방법은 다음과 같습니다:

• 3D 모델링: 개발자는 3D 소프트웨어를 사용하여 디지털 객체와 장면을 만듭니다. 이를 통해 조명, 카메라 각도, 객체 배치 등을 완전히 제어할 수 있으며 사람, 차량, 환경의 사실적인 이미지를 생성하는 데 도움이 됩니다.
• 시뮬레이션: 이는 물리 기반 엔진을 사용하여 교통이나 공장 환경과 같은 실제 상황을 재현합니다. 시뮬레이션은 로봇 공학 및 자율주행 자동차와 같은 분야에서 안전하게 학습 데이터를 생성하는 데 유용합니다.
• 적대적 생성 신경망: GAN은 이미지를 생성하는 네트워크와 이를 평가하는 네트워크, 두 가지 네트워크로 구성된 딥러닝 모델의 일종입니다. 이들은 함께 실제 예시를 학습하여 사람의 얼굴이나 거리 풍경과 같이 매우 사실적인 이미지를 생성합니다.
• 절차적 생성: 이 기법은 사전 정의된 규칙이나 수학적 모델을 사용하여 지형, 건물, 텍스처와 같은 복잡한 시각 구조를 자동으로 생성합니다. 이는 종종 게임 및 시뮬레이션 플랫폼에서 사용되며 최소한의 인간 개입으로 대규모의 다양한 데이터셋을 생성할 수 있습니다.
• 도메인 무작위화: 합성 장면에서 조명, 색상, 객체 모양과 같은 것들을 무작위로 변경할 수 있습니다. 이 기법의 목표는 모델이 정말 중요한 것에 집중하도록 도와 실제 환경에 더 잘 적응하게 하는 것입니다.

그림 3. 데이터 예시: (a) 3D 모델 기반, (b) 합성 다중 객체 장면, (c) 실제 데이터셋 이미지 (출처).

합성 데이터를 사용한 비전 AI 모델 학습#

이제 합성 데이터를 만드는 다양한 방법을 논의했으니, 이를 AI 모델 학습에 어떻게 사용하는지 알아보겠습니다.

생성된 합성 데이터는 일반적으로 실제 데이터와 같은 방식으로 학습 파이프라인에 직접 통합될 수 있습니다. 일반적으로 객체 라벨, BBox, 세그먼테이션 마스크와 같은 필요한 주석이 포함되어 있어, 모델이 라벨링된 입력-출력 쌍으로부터 학습하는 지도 학습 작업에 수동 라벨링 없이 사용될 수 있습니다.

학습 중에 모델은 합성 이미지를 처리하여 특징을 감지하고, 패턴을 인식하며, 객체를 분류하는 방법을 학습합니다. 이 데이터는 처음부터 모델의 초기 버전을 구축하거나 기존 데이터셋을 보강하여 모델 성능을 향상시키는 데 사용될 수 있습니다.

많은 워크플로우에서 합성 데이터는 사전 학습(pretraining)에도 사용되며, 실제 예시로 미세 조정(fine-tuning)되기 전에 모델에 광범위한 기초 이해를 제공합니다. 마찬가지로, 일반화를 향상하고 과적합을 줄이기 위해 조명 조건, 각도 또는 희귀한 객체 클래스와 같은 통제된 변형을 도입하여 데이터셋을 증강하는 데 사용됩니다.

합성 데이터와 실제 데이터를 결합함으로써 팀은 다양한 조건에서 잘 작동하는 더 강력한 모델을 학습시킬 수 있으며, 동시에 시간이 많이 걸리고 비용이 많이 드는 수동 데이터 수집 노력에 대한 의존도를 줄일 수 있습니다.

컴퓨터 비전에서 합성 데이터의 실제 적용 사례#

합성 데이터가 더욱 실용적이고 접근하기 쉬워짐에 따라 다양한 실제 비전 AI 유스케이스에서 도입되는 것을 볼 수 있습니다. 현재 활용되고 있는 가장 영향력 있는 applications in computer vision 중 일부를 살펴보겠습니다.

자율주행 차량의 객체 감지를 위한 합성 데이터 활용#

자율주행차가 안전하게 주행하도록 교육하려면 희귀하거나 위험한 상황을 포함한 광범위한 시나리오로 모델을 학습시켜야 합니다. 그러나 이러한 엣지 케이스에 대한 실제 데이터를 수집하는 것은 어려울 수 있으며 때로는 안전하지 않을 수도 있습니다. 합성 데이터는 모델이 어려운 상황에서 객체를 detect하는 법을 학습할 수 있는 장면에 도움을 줄 수 있습니다. 또한 다양한 센서 구성을 모방할 수 있는데, 이는 모든 자율주행차가 동일한 하드웨어를 사용하는 것은 아니므로 유용합니다.

NVIDIA’s DRIVE Sim 플랫폼이 이러한 좋은 예시입니다. 이 플랫폼은 광실사적 3D 모델, 가상 환경, 센서 시뮬레이션을 사용하여 고품질의 합성 데이터를 생성합니다. 또한 단일 이미지로부터 여러 주행 각도의 이미지를 생성할 수 있습니다. 이와 같은 합성 데이터를 사용하면 모델이 효과적으로 학습하는 데 필요한 다양성을 제공하는 동시에 비용이 많이 드는 실제 테스트의 필요성을 줄일 수 있습니다.

그림 4. 하나의 이미지에서 여러 주행 뷰 생성하기 (출처).

합성 데이터로 의료 영상 AI의 편향 줄이기#

객체 감지 및 인스턴스 세그멘테이션과 같은 작업을 지원하는 Ultralytics YOLO11과 같은 컴퓨터 비전 모델은 의료 영상 애플리케이션을 위해 맞춤형으로 학습될 수 있습니다. 그러나 실제 학습 데이터에는 모든 인구통계학적 그룹의 환자를 적절히 대표하지 못할 수 있으므로 편향이 포함되는 경우가 많습니다.

예를 들어, skin cancer는 피부색이 어두운 개인에게 진단되는 빈도가 낮아 해당 인구 집단에 대한 데이터가 제한적입니다. 이러한 불균형은 특히 조직병리학, 흉부 X선, 피부과 같은 분야에서 오진과 불평등한 의료 결과로 이어질 수 있습니다.

합성 이미지는 데이터의 이러한 격차를 해소하는 데 한 걸음 다가가는 역할을 할 수 있습니다. 다양한 조직 이상, 광범위한 폐 질환 상태, 서로 다른 병변 유형을 가진 피부색 등 다양하고 추가적인 예시를 생성함으로써 합성 데이터는 과소 대표된 그룹 전반에서 모델 성능을 향상시키는 데 도움이 될 수 있습니다.

연구자들은 현재 이러한 목표를 지원하기 위한 합성 데이터셋을 개발하고 검증하는 작업을 진행 중입니다. 또한 실제 환자 기록에 의존하지 않고 합성 데이터를 사용하여 test medical tools 및 치료 전략을 테스트할 수 있는 방안을 모색함으로써 환자 개인정보를 보호하는 동시에 연구를 가속화하고 있습니다. 이러한 노력을 통해 합성 데이터는 더욱 포용적이고 정확하며 윤리적인 의료 AI 시스템의 길을 열어주고 있습니다.

정밀 농업을 위한 합성 데이터로 농업 AI 발전시키기#

농업 애플리케이션을 위한 비전 AI 시스템을 구축하는 것은 방대한 양의 라벨링된 데이터에 대한 접근성에 달려 있습니다. 그러나 작물, 질병, 현장 상태의 사진을 수집하고 라벨링하는 것은 느리고 비용이 많이 들며, 종종 날씨, 재배 계절 또는 특정 지역에 접근하기 어려운 등의 요인으로 제한됩니다.

이러한 과제들로 인해 식물 병해 감지, monitoring crops, 수확량 예측 같은 작업을 처리하도록 컴퓨터 비전 모델을 학습시키기가 어렵습니다. 바로 이 지점에서 합성 데이터가 서로 다른 농업 환경을 모방하여 유용한 학습 예시를 생성함으로써 도움을 줄 수 있습니다.

그림 5. 질병 감지 향상을 위한 합성 이미지 활용 (출처).

핵심 요약#

합성 데이터를 사용하는 것은 특히 실제 데이터가 제한적이거나 얻기 어려운 영역의 컴퓨터 비전 시스템에 대해 AI 모델 학습의 중요한 진전을 의미합니다. 비용이 많이 들고 시간이 걸리거나 개인정보 보호 문제를 야기할 수 있는 실제 사진이나 비디오에만 의존하는 대신, 합성 데이터는 사실적이고 라벨링된 이미지를 필요에 따라 생성할 수 있게 해줍니다.

이는 자율주행, 질병 감지, 작물 모니터링과 같은 작업을 위한 비전 AI 모델을 학습하기 쉽게 만듭니다. AI가 계속 진화함에 따라 합성 데이터는 산업 전반에서 혁신을 가속화하고 접근성을 향상시키는 데 훨씬 더 큰 역할을 할 것입니다.

GitHub repository에서 AI에 대해 자세히 알아보고 성장하는 community에 참여하세요. AI in autonomous vehicles 및 computer vision in agriculture와 같은 애플리케이션의 영향력을 발견해 보세요. licensing 옵션을 살펴보고 비전 AI 프로젝트를 실현해 보세요.