멀티모달 학습

다중 모드 학습은 AI 모델이 여러 유형의 데이터(모달리티라고 함)에서 정보를 처리하고 이해하도록 훈련되는 머신 러닝(ML)의 하위 분야입니다. 인간이 시각, 청각 및 언어를 결합하여 세상을 인식하는 것처럼 다중 모드 학습을 통해 AI는 이미지, 텍스트, 오디오 및 센서 판독값과 같은 소스의 데이터를 통합하여 보다 전체적이고 상황에 맞는 이해를 개발할 수 있습니다. 이 접근 방식은 단일 초점 시스템을 넘어 인간과 유사한 지능을 반영하는 더 풍부한 해석과 더 정교한 애플리케이션을 허용합니다. 궁극적인 목표는 포괄적인 통찰력을 얻기 위해 보고, 읽고, 들을 수 있는 모델을 구축하는 것입니다.

멀티 모달 학습 작동 방식

멀티모달 학습 시스템은 표현(representation), 정렬(alignment) 및 융합(fusion)이라는 세 가지 핵심 과제를 해결하도록 설계되었습니다. 첫째, 모델은 각 modality에 대한 의미 있는 표현을 학습해야 하며, 종종 픽셀 및 단어와 같은 다양한 데이터 유형을 임베딩(embeddings)이라고 하는 숫자 벡터로 변환합니다. 둘째, 이러한 표현을 정렬하여 modality 간에 관련된 개념을 연결해야 합니다. 예를 들어 "프리스비를 잡는 개"라는 텍스트를 그림의 해당 시각적 요소에 연결하는 것입니다. 마지막으로, 이러한 정렬된 표현을 융합하여 통합된 예측을 하거나 새로운 콘텐츠를 생성합니다. 이 융합은 여러 단계에서 발생할 수 있으며, Transformer와 그 attention 메커니즘과 같은 아키텍처의 개발은 효과적인 융합 전략을 만드는 데 중추적인 역할을 했습니다.

실제 애플리케이션

멀티모달 학습은 많은 최첨단 AI 기능의 핵심 엔진입니다. 몇 가지 주요 예는 다음과 같습니다.

1. 시각적 질의 응답(VQA): VQA에서 AI 모델은 이미지와 그에 대한 자연어 질문(예: "빨간 셔츠를 입은 사람은 무엇을 하고 있습니까?")을 받습니다. 모델은 정확한 답변을 제공하기 위해 이미지의 시각 정보와 텍스트의 의미론적 의미를 동시에 처리해야 합니다. 이 기술은 시각 장애인을 위한 보조 도구 및 고급 콘텐츠 분석을 만드는 데 사용됩니다. 더 많은 예제를 보려면 널리 사용되는 VQA 데이터 세트를 살펴보세요.
2. 텍스트-이미지 생성: OpenAI의 DALL-E 3 및 Stable Diffusion과 같은 생성 모델은 멀티모달 학습의 대표적인 예입니다. 텍스트 설명(프롬프트)을 받아 그에 상응하는 새로운 이미지를 생성합니다. 이를 위해서는 언어에 대한 깊은 이해와 추상적인 개념을 일관성 있는 시각적 세부 사항으로 변환하는 능력이 필요하며, 이는 NLP와 생성 비전을 결합한 작업입니다.

주요 차이점

멀티모달 학습을 관련 용어와 구별하는 것이 유용합니다.

• 멀티모달 모델: 멀티모달 학습은 여러 데이터 유형을 사용하여 AI를 훈련하는 것과 관련된 프로세스 또는 연구 분야입니다. 멀티모달 모델은 이러한 기술을 사용하여 설계 및 훈련된 결과 AI 시스템 또는 아키텍처입니다.
• 컴퓨터 비전(CV): CV는 시각적 데이터의 처리 및 이해에만 전적으로 중점을 둡니다. Ultralytics YOLO11과 같은 특수 CV 모델은 객체 감지와 같은 작업에서 탁월하지만, 멀티모달 학습은 해당 시각적 데이터를 다른 양식과 통합하여 더욱 발전합니다.
• 자연어 처리(NLP): NLP는 인간의 언어를 이해하고 생성하는 것을 다룹니다. 멀티모달 학습은 Vision Language Models에서 볼 수 있듯이 언어 데이터를 이미지 또는 센서 판독값과 같은 다른 양식과 통합합니다.
• Foundation Models: 이는 방대한 양의 데이터에 대해 사전 훈련된 대규모 모델입니다. GPT-4와 같은 많은 최신 파운데이션 모델은 본질적으로 다중 모달이지만 개념은 다릅니다. 다중 모달 학습은 스탠포드 CRFM과 같은 기관에서 연구하는 이러한 강력한 모델을 구축하는 데 자주 사용되는 방법론입니다.

과제 및 향후 방향

멀티모달 학습은 다양한 소스의 데이터를 효과적으로 정렬하고, 최적의 융합 전략을 개발하며, 누락되거나 노이즈가 있는 데이터를 처리하는 등 고유한 과제를 안고 있습니다. 이러한 멀티모달 학습의 과제를 해결하는 것은 여전히 활발한 연구 분야입니다. 이 분야는 빠르게 발전하여 인간과 유사하게 세상을 인식하고 추론하는 AI 시스템을 향해 나아가고 있으며, 범용 인공 지능(AGI) 개발에 기여할 가능성이 있습니다. Ultralytics HUB와 같은 플랫폼은 현재 주로 컴퓨터 비전 작업에 중점을 둔 워크플로우를 지원하지만, 더 넓은 AI 환경은 멀티모달 기능의 통합 증가를 가리키고 있습니다. PyTorch 및 TensorFlow와 같은 프레임워크로 개발된 새로운 모델 기능에 대한 업데이트는 Ultralytics 블로그를 통해 확인하십시오.