컴퓨터 비전에서 합성 데이터란 무엇인가? 개요

데이터는 분석 및 인공지능(AI)과 같은 분야에서 항상 핵심 동인이었습니다. 실제로 데이터를 수집, 생성 및 사용하는 방식은 지능형 시스템의 미래를 만들어가고 있습니다. 예를 들어, 자율 주행 자동차는 도로를 안전하게 탐색하는 방법을 학습하기 위해 도로 표지판에서 보행자 이동에 이르기까지 수백만 개의 레이블이 지정된 이미지와 센서 데이터에 의존합니다.

특히 자율 주행 차량 및 보안과 같은 분야에서 이러한 발전을 가능하게 하는 가장 중요한 유형의 데이터 중 하나는 이미지 및 비디오와 같은 시각적 데이터입니다. 

특히 기계가 이러한 시각 정보를 해석할 수 있도록 하는 AI 분야를 컴퓨터 비전이라고 합니다. 이는 시스템이 얼굴 인식, 교통 표지판 감지 및 의료 영상 분석과 같은 작업을 지원하면서 인간과 유사하게 시각적 입력을 이해하고 분석하도록 돕습니다. 

그러나 실제 세계에서 대규모의 고품질 시각적 데이터 세트를 수집하는 것은 시간이 많이 걸리고 비용이 많이 들며 종종 개인 정보 보호 문제를 야기합니다. 이것이 연구자들이 합성 데이터 활용 개념을 적극적으로 탐구하는 이유입니다. 

합성 데이터는 실제 이미지와 비디오를 매우 유사하게 모방하는 인공적으로 생성된 시각 자료를 의미합니다. 이는 3D 모델링, 컴퓨터 시뮬레이션 및 GAN(Generative Adversarial Networks)와 같은 생성적 AI 방법을 사용하여 생성되며, 실제 데이터에서 패턴을 학습하여 현실적인 새로운 예제를 생성합니다.

합성 데이터는 곧 AI 개발에서 중요한 역할을 할 것으로 예상됩니다. Gartner는 2030년까지 합성 데이터가 실제 데이터보다 더 중요해질 것이라고 예측합니다. 이 글에서는 컴퓨터 비전 분야에서 합성 데이터가 무엇인지, 어떻게 생성되는지, 실제 시나리오에서 어떻게 적용되고 있는지 살펴보겠습니다. 시작해 볼까요!

컴퓨터 비전에서 합성 데이터란 무엇인가?

다양한 환경과 조건에서 객체를 감지하도록 Vision AI 모델을 훈련하려는 경우를 가정해 보겠습니다. 실제 데이터에만 의존하는 것은 어려울 수 있으며 때로는 제한적으로 느껴질 수 있습니다. 

한편, 합성 데이터를 사용하여 다양한 인공적으로 생성된 조건에서 객체를 포함하는 적절한 데이터 세트를 만들 수 있습니다. 3D 모델링 및 시뮬레이션과 같은 도구를 사용하여 개발자는 조명, 각도 및 객체 배치와 같은 요소를 정밀하게 제어하여 이미지를 생성할 수 있습니다. 결과적으로 실제 데이터보다 모델 훈련에 더 많은 유연성을 제공합니다.

합성 데이터는 실제 데이터를 수집하기 어렵거나 불가능할 때 특히 유용합니다. 예를 들어, 달리기, 웅크리기, 눕기와 같이 다양한 자세를 취한 사람들을 인식하도록 모델을 훈련시키려면 다양한 환경, 각도 및 조명 조건에서 수천 장의 사진을 촬영해야 합니다. 

반면에, 합성 데이터를 사용하면 개발자는 정확한 레이블로 이러한 변형을 쉽게 생성하여 시간과 노력을 절약하면서 모델 성능을 향상시킬 수 있습니다.

‍

AI에서 합성 데이터와 실제 데이터 비교

다음으로, 합성 데이터와 실제 데이터 간의 차이점을 자세히 살펴보겠습니다. AI 모델 훈련과 관련하여 둘 다 장단점이 있습니다. 

예를 들어, 합성 데이터는 실제 데이터를 수집하기 어려울 때 유용하지만 실제에서 발견되는 모든 세부 사항을 포착하지 못할 수 있습니다. 동시에 실제 데이터는 더 신뢰할 수 있지만 소싱하기 어렵고 레이블링하는 데 시간이 오래 걸리며 모든 상황을 다루지 못할 수 있습니다.

합성 데이터와 실제 데이터를 결합함으로써 개발자는 두 세계의 장점을 모두 얻을 수 있습니다. 이러한 균형은 AI 모델이 더 정확하게 학습하고, 다양한 시나리오에서 더 잘 일반화하며, 편향을 줄이는 데 도움이 됩니다.

‍

컴퓨터 비전 모델을 위한 데이터 생성 살펴보기

3D 도구를 사용하여 가상 세계를 구축하는 것부터 생성형 AI를 사용하여 이미지를 생성하는 것까지, 컴퓨터 비전 모델을 위한 합성 학습 데이터를 생성하는 데 사용되는 일반적인 방법은 다음과 같습니다.

• 3D 모델링: 개발자는 3D 소프트웨어를 사용하여 디지털 객체와 장면을 만듭니다. 이를 통해 조명, 카메라 각도, 객체 배치 등을 완벽하게 제어할 수 있으며 사람, 차량 및 환경의 사실적인 이미지를 생성하는 데 유용합니다.
  
  
• 시뮬레이션: 물리 기반 엔진을 사용하여 교통 또는 공장 환경과 같은 실제 상황을 재현합니다. 시뮬레이션은 로봇 공학 및 자율 주행 자동차와 같은 분야에서 훈련 데이터를 안전하게 생성하는 데 유용합니다.
  
  
• 생성적 적대 신경망: GAN은 이미지를 생성하는 네트워크와 이미지를 평가하는 네트워크의 두 가지 네트워크로 구성된 딥러닝 모델의 한 유형입니다. 이들은 실제 예제에서 학습하여 사람의 얼굴이나 거리 풍경과 같은 매우 사실적인 이미지를 함께 생성합니다.
  
  
• 절차적 생성: 이 기술은 미리 정의된 규칙 또는 수학적 모델을 사용하여 지형, 건물 또는 텍스처와 같은 복잡한 시각적 구조를 자동으로 생성합니다. 게임 및 시뮬레이션 플랫폼에서 자주 사용되며 최소한의 인적 입력으로 대규모의 다양한 데이터 세트를 생성할 수 있습니다.
  
  
• 도메인 랜덤화: 합성 장면에서 조명, 색상, 객체 모양과 같은 요소를 무작위로 변경할 수 있습니다. 이 기술의 목표는 모델이 실제로 중요한 것에 집중하도록 돕고 실제 환경에 더 잘 적응할 수 있도록 하는 것입니다.

‍

합성 데이터를 사용한 비전 AI 모델 학습

이제 합성 데이터 생성에 사용되는 다양한 방법을 논의했으니, AI 모델 훈련에 어떻게 사용되는지 살펴보겠습니다. 

일단 생성되면, 합성 데이터는 일반적으로 실제 데이터와 동일한 방식으로 학습 파이프라인에 직접 통합될 수 있습니다. 일반적으로 객체 레이블, 경계 상자 또는 분할 마스크와 같이 필요한 어노테이션이 포함되어 있으므로 수동 레이블링 없이도 모델이 레이블이 지정된 입력-출력 쌍으로부터 학습하는 지도 학습 작업에 사용할 수 있습니다.

훈련 중에 모델은 합성 이미지를 처리하여 특징을 감지하고, 패턴을 인식하고, 객체를 분류하는 방법을 학습합니다. 이 데이터는 모델의 초기 버전을 처음부터 구축하거나 기존 데이터 세트를 풍부하게 하여 모델 성능을 개선하는 데 사용할 수 있습니다.

많은 워크플로에서 합성 데이터는 사전 훈련에도 사용되어 모델이 실제 예제로 미세 조정되기 전에 광범위한 기본 이해를 제공합니다. 마찬가지로 다양한 조명 조건, 각도 또는 희귀 객체 클래스와 같은 제어된 변형을 도입하여 데이터 세트를 보강하여 일반화 기능을 개선하고 과적합을 줄이는 데 사용됩니다. 

합성 데이터와 실제 데이터를 결합함으로써 팀은 시간 소모적이고 비용이 많이 드는 수동 데이터 수집 노력에 대한 의존도를 줄이면서 광범위한 조건에서 잘 작동하는 보다 강력한 모델을 훈련할 수 있습니다.

컴퓨터 비전에서 합성 데이터의 실제 응용 분야

합성 데이터가 더욱 실용적이고 접근 가능해짐에 따라 다양한 실제 Vision AI 사용 사례에서 채택되기 시작했습니다. 사용되고 있는 가장 영향력 있는 컴퓨터 비전 애플리케이션 중 일부를 살펴보겠습니다.

자율 주행 차량의 객체 감지를 위한 합성 데이터 사용

자율 주행 자동차가 안전하게 운전하도록 가르치려면 드물거나 위험한 상황을 포함하여 광범위한 시나리오에서 모델을 훈련해야 합니다. 그러나 이러한 엣지 케이스에 대한 실제 데이터를 수집하는 것은 어려울 수 있으며 때로는 안전하지 않을 수도 있습니다. 합성 데이터는 모델이 어려운 상황에서 객체를 감지하는 방법을 배울 수 있는 장면을 만드는 데 도움이 될 수 있습니다. 또한 모든 자율 주행 자동차가 동일한 하드웨어를 사용하는 것은 아니기 때문에 다양한 센서 구성을 모방할 수도 있습니다.

NVIDIA의 DRIVE Sim 플랫폼은 훌륭한 예시입니다. 이 플랫폼은 실사적인 3D 모델, 가상 환경 및 센서 시뮬레이션을 사용하여 고품질의 합성 데이터를 생성합니다. 또한 단일 이미지에서 여러 운전 각도의 이미지를 생성할 수 있습니다. 이와 같은 합성 데이터를 사용하면 모델이 효과적으로 학습하는 데 필요한 다양성을 제공하면서도 비용이 많이 드는 실제 테스트의 필요성을 줄일 수 있습니다.

‍

합성 데이터를 사용하여 의료 영상 AI의 편향 감소

객체 탐지 및 인스턴스 분할과 같은 작업을 지원하는 Ultralytics YOLO11과 같은 컴퓨터 비전 모델은 의료 영상 애플리케이션을 위해 맞춤형으로 훈련할 수 있습니다. 그러나 실제 훈련 데이터는 모든 인구 통계 그룹의 환자를 적절하게 나타내지 못할 수 있으므로 종종 편향을 포함합니다.

예를 들어, 피부암은 피부색이 어두운 사람들에게서 덜 자주 진단되므로 해당 인구에 대한 데이터가 제한적입니다. 이러한 불균형은 특히 조직병리학, 흉부 X-레이 및 피부과와 같은 분야에서 오진 및 불평등한 의료 결과에 기여할 수 있습니다.

합성 이미지는 데이터 격차를 해소하는 데 기여할 수 있습니다. 다양한 조직 이상, 광범위한 폐 질환, 다양한 병변 유형을 가진 피부톤과 같이 다양하고 추가적인 예시를 생성함으로써 합성 데이터는 소외된 그룹 전반에서 모델 성능을 향상시키는 데 도움이 될 수 있습니다. 

연구자들은 현재 이러한 목표를 지원하기 위해 합성 데이터 세트를 개발하고 검증하는 데 주력하고 있습니다. 또한 실제 환자 기록에 의존하지 않고 합성 데이터를 사용하여 의료 도구 및 치료 전략을 테스트하는 방법을 모색하여 환자 개인 정보를 보호하면서 연구를 가속화하는 데 도움을 주고 있습니다. 이러한 연구를 통해 합성 데이터는 더욱 포괄적이고 정확하며 윤리적인 의료 AI 시스템을 위한 길을 열고 있습니다.

정밀 농업을 위한 합성 데이터로 농업 AI 발전

농업 응용 분야를 위한 비전 AI 시스템 구축은 대량의 레이블이 지정된 데이터에 대한 액세스에 달려 있습니다. 그러나 작물, 질병 및 현장 조건의 사진을 수집하고 레이블을 지정하는 것은 느리고 비용이 많이 들며 날씨, 성장 시즌 또는 특정 지역에 도달하기 어려운 정도와 같은 요인에 의해 제한되는 경우가 많습니다. 

이러한 문제로 인해 식물 질병 감지, 작물 모니터링 또는 수확량 예측과 같은 작업을 처리하도록 컴퓨터 비전 모델을 훈련하기가 어렵습니다. 따라서 다양한 농업 환경을 모방하여 유용한 훈련 예제를 생성함으로써 합성 데이터가 도움이 될 수 있습니다.

‍

주요 내용

합성 데이터 사용은 특히 실제 데이터가 제한적이거나 얻기 어려운 분야의 컴퓨터 비전 시스템에서 AI 모델 훈련의 중요한 진전입니다. 비용이 많이 들거나 시간이 오래 걸리거나 개인 정보 보호 문제를 일으킬 수 있는 실제 사진이나 비디오에만 의존하는 대신 합성 데이터를 사용하면 필요에 따라 사실적인 레이블이 지정된 이미지를 생성할 수 있습니다. 

자율 주행, 질병 감지 또는 작물 모니터링과 같은 작업을 위한 Vision AI 모델을 더 쉽게 훈련할 수 있습니다. AI가 계속 발전함에 따라 합성 데이터는 혁신을 가속화하고 산업 전반에서 접근성을 향상시키는 데 훨씬 더 큰 역할을 할 것입니다.

GitHub 리포지토리에서 AI에 대해 자세히 알아보고 성장하는 커뮤니티에 참여하세요. 자율 주행 차량의 AI 및 농업의 컴퓨터 비전과 같은 애플리케이션의 영향을 알아보세요. 라이선스 옵션을 살펴보고 Vision AI 프로젝트를 실현하세요.