Multi-Modal Learning

멀티모달 학습은 알고리즘이 텍스트나 픽셀 같은 단일 유형의 입력에 특화된 전통적 시스템과 달리, 시각 데이터, 음성 오디오, 텍스트 설명, 센서 측정값 등 다양한 감각 입력을 통합하여 인간의 인지를 모방함으로써 여러 고유한 데이터 유형 또는 "모달리티"의 정보를 처리, 이해, 상관하도록 훈련하는 인공지능(AI)의 정교한 접근 방식입니다. 번역용 텍스트나 이미지 인식용 텍스트 같은 단일 입력 유형을 전문으로 하는 전통적 시스템과 달리, 멀티모달 학습은 시각 데이터, 음성 오디오, 텍스트 설명 및 센서 판독값과 같은 다양한 감각 입력을 통합하여 인간의 인지를 모방합니다. 이러한 전체론적 접근 방식을 통해 머신러닝(ML) 모델은 세계에 대해 더 깊고 맥락을 인식하는 이해를 개발할 수 있으며, 더욱 강력하고 다재다능한 예측으로 이어집니다.

멀티모달 학습의 작동 방식#

멀티모달 학습의 핵심 과제는 서로 다른 데이터 유형을 비교하고 결합할 수 있는 공유 수학적 공간으로 변환하는 것입니다. 이 과정은 일반적으로 인코딩, 정렬, 융합의 세 가지 주요 단계를 거칩니다.

1. 특징 추출: 특화된 신경망이 각 모달리티를 독립적으로 처리합니다. 예를 들어 합성곱 신경망(CNN)이나 비전 트랜스포머(ViT)가 이미지에서 특징을 추출할 수 있으며, 순환 신경망(RNN)이나 Transformer는 텍스트를 처리합니다.

2. 임베딩 정렬: 모델은 이러한 다양한 특징을 공유된 고차원 벡터로 매핑하는 것을 학습합니다. 이 공유 공간에서는 "고양이"라는 단어의 벡터와 고양이 이미지의 벡터가 서로 가깝게 배치됩니다. OpenAI의 CLIP과 같은 논문으로 대중화된 대조 학습과 같은 기술이 여기서 필수적입니다.

3. 데이터 융합: 마지막으로, 태스크를 수행하기 위해 정보가 병합됩니다. 융합은 조기 융합(원시 데이터 결합), 후기 융합(최종 예측 결합), 또는 어텐션 메커니즘을 사용하여 각 모달리티의 중요도를 동적으로 가중치를 부여하는 중간 하이브리드 방식을 통해 이루어질 수 있습니다.

실제 애플리케이션 사례#

멀티모달 학습은 오늘날 가장 인상적인 AI 혁신의 원동력이 되며, 복잡한 문제를 해결하기 위해 서로 다른 데이터 사일로(silos) 간의 간극을 메워줍니다.

• 시각적 질문 답변(VQA): 이 애플리케이션에서 시스템은 "신호등이 무슨 색인가요?"와 같은 이미지를 분석하고 그에 대한 자연어 질문에 답해야 합니다. 이를 위해 모델은 텍스트의 의미를 이해하고 컴퓨터 비전을 사용하여 해당 시각적 요소를 공간적으로 찾아야 합니다.
• 자율주행차: 자율주행차는 LiDAR 포인트 클라우드, 카메라 비디오 피드, 레이더의 데이터를 결합하여 안전하게 주행하기 위해 센서 융합에 크게 의존합니다. 이 멀티모달 입력은 하나의 센서에 장애가 발생하더라도(예: 태양 눈부심으로 인해 카메라가 가려진 경우) 다른 센서가 도로 안전을 유지할 수 있도록 보장합니다.
• 의료 진단: 의료 분야의 AI는 의학 이미지 분석(MRI 또는 X선 등)을 구조화되지 않은 텍스트 환자 병력 및 유전 데이터와 함께 분석하여 멀티모달 학습을 활용합니다. 이 종합적인 뷰는 의사가 더 정확한 진단을 내리는 데 도움을 주며, 이는 Nature Digital Medicine 저널에서 자주 다루어지는 주제입니다.
• 생성형 AI: Stable Diffusion과 같이 텍스트 프롬프트로부터 이미지를 생성하는 도구는 언어적 설명과 시각적 텍스처 간의 관계를 이해하는 모델의 능력에 전적으로 의존합니다.

Ultralytics를 활용한 멀티모달 객체 탐지#

**YOLO-World**와 같은 멀티모달 접근 방식은 표준 객체 검출기가 미리 정의된 클래스에 의존하는 것과 달리, 사용자가 개방 어휘 텍스트 프롬프트를 사용하여 객체를 검출할 수 있도록 합니다. 이는 Ultralytics 생태계 내에서 텍스트 개념과 시각적 특징을 연결하는 힘을 보여줍니다.

다음 Python 코드 스니펫은 사전 훈련된 YOLO-World 모델을 사용하여 사용자 지정 텍스트 입력을 기반으로 객체를 탐지하는 방법을 보여줍니다.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multi-Modal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person", "bus", "traffic light"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

주요 용어 구분#

현대 AI 환경을 탐색하기 위해 '멀티모달 학습'을 관련 개념과 구분하는 것이 도움이 됩니다:

• 멀티모달 모델: "멀티모달 학습"은 방법론과 연구 분야를 의미합니다. "멀티모달 모델"(GPT-4이나 Google의 Gemini 등)은 해당 훈련 프로세스로부터 생성된 구체적인 결과물 또는 소프트웨어 제품입니다.
• 단일 모달 AI: 전통적인 컴퓨터 비전은 일반적으로 시각 데이터에만 독점적으로 집중하는 단일 모달입니다. Ultralytics YOLO26과 같은 모델은 객체 검출을 위한 최첨단 CV 도구이지만, 더 큰 멀티모달 파이프라인의 일부가 아닌 한 일반적으로 시각적 입력만을 기반으로 작동합니다.
• 거대 언어 모델(LLM): 전통적인 LLM은 텍스트로만 훈련된 단일 모달입니다. 그러나 업계는 PyTorch 및 TensorFlow와 같은 프레임워크의 지원을 받아 이미지를 기본적으로 처리할 수 있는 "거대 멀티모달 모델(LMM)"로 전환하고 있습니다.

미래 전망#

멀티모달 학습의 궤적은 인공 일반 지능(AGI) 특성을 가진 시스템을 향하고 있습니다. 언어를 시각적 및 물리적 현실에 성공적으로 기반을 둠으로써 이 모델들은 단순한 통계적 상관관계를 넘어 진정한 추론으로 나아가고 있습니다. MIT CSAIL 및 스탠퍼드 기반 모델 연구 센터와 같은 기관의 연구는 기계가 복잡하고 다감각적인 환경을 인식하고 상호작용하는 방식의 경계를 계속해서 넓혀가고 있습니다.

Ultralytics에서는 이러한 발전 사항을 Ultralytics Platform에 통합하여 사용자가 데이터를 관리하고, 모델을 훈련하며, YOLO26의 속도부터 개방 어휘 검출의 다재다능함에 이르기까지 사용 가능한 모든 모달리티의 스펙트럼을 활용하는 솔루션을 배포할 수 있도록 지원합니다.