Multi-Modal Learning

멀티모달 학습은 인공지능 (AI) 분야의 정교한 접근 방식으로, 알고리즘을 학습시켜 여러 가지 서로 다른 데이터 유형, 즉 "모달리티"의 정보를 처리하고 이해하며 상호 연관성을 파악하도록 합니다. 번역을 위한 텍스트나 이미지 인식을 위한 픽셀처럼 하나의 입력 유형만 전문적으로 처리하는 기존 시스템과 달리, 멀티모달 학습은 시각 데이터, 음성 오디오, 텍스트 설명, 센서 판독값과 같은 다양한 감각 입력을 통합하여 인간의 인지 능력을 모방합니다. 이러한 전체론적 접근 방식을 통해 머신 러닝 (ML) 모델은 세상에 대해 더 깊이 있고 맥락을 인식하는 이해를 발전시킬 수 있으며, 그 결과 더욱 견고하고 다재다능한 예측이 가능합니다.

멀티모달 학습의 작동 방식#

멀티모달 학습의 핵심 과제는 서로 다른 데이터 유형을 비교하고 결합할 수 있는 공유 수학 공간으로 변환하는 것입니다. 이 과정은 일반적으로 인코딩, 정렬, 융합의 세 가지 주요 단계로 이루어집니다.

1. 특징 추출: 특화된 신경망이 각 모달리티를 독립적으로 처리합니다. 예를 들어 합성곱 신경망 (CNNs) 또는 비전 Transformer (ViTs)는 이미지에서 특징을 추출하고, 순환 신경망 (RNNs) 또는 Transformer는 텍스트를 처리할 수 있습니다.

2. 임베딩 정렬: 모델은 이러한 다양한 특징을 공유 고차원 벡터로 매핑하는 방법을 학습합니다. 이 공유 공간에서는 "고양이"라는 단어의 벡터와 고양이 이미지의 벡터가 서로 가까워집니다. 대조 학습과 같은 기법은 OpenAI의 CLIP과 같은 논문을 통해 널리 알려졌으며, 이 과정에서 필수적인 역할을 합니다.

3. 데이터 융합: 마지막으로 정보를 병합하여 작업을 수행합니다. 융합은 초기 단계에서 원시 데이터를 결합하거나, 후기 단계에서 최종 예측을 결합하거나, 어텐션 메커니즘을 사용해 각 모달리티의 중요도에 동적으로 가중치를 부여하는 중간 단계의 하이브리드 방식으로 이루어질 수 있습니다.

실제 적용 사례#

멀티모달 학습은 오늘날 가장 인상적인 여러 AI 혁신을 뒷받침하는 원동력으로, 서로 단절된 데이터 사일로 간의 격차를 해소하여 복잡한 문제를 해결합니다.

• 시각적 질문 답변 (VQA): 이 애플리케이션에서는 시스템이 이미지를 분석하고 "신호등은 무슨 색인가요?"와 같은 이미지에 관한 자연어 질문에 답해야 합니다. 이를 위해 모델은 텍스트의 의미를 이해하고 컴퓨터 비전을 사용하여 해당하는 시각적 요소의 공간적 위치를 찾아야 합니다.
• 자율주행 차량: 자율주행 자동차는 LiDAR 포인트 클라우드, 카메라 비디오 피드, 레이더의 데이터를 결합하는 센서 융합에 크게 의존하여 안전하게 주행합니다. 이러한 멀티모달 입력을 사용하면 한 센서에 장애가 발생하더라도(예: 햇빛 눈부심으로 카메라가 제대로 작동하지 않는 경우) 다른 센서가 도로 안전을 유지할 수 있습니다.
• 의료 진단: 의료 분야의 AI는 의료 영상 분석(MRI 또는 X선 등)과 구조화되지 않은 환자 병력 텍스트 및 유전 데이터를 함께 분석하여 멀티모달 학습을 활용합니다. 이러한 종합적인 관점은 의사가 더 정확한 진단을 내리는 데 도움을 주며, Nature Digital Medicine 저널에서 자주 논의되는 주제입니다.
• 생성형 AI: Stable Diffusion과 같이 텍스트 프롬프트로 이미지를 생성하는 도구는 언어적 설명과 시각적 질감 간의 관계를 이해하는 모델의 능력에 전적으로 의존합니다.

Ultralytics를 활용한 멀티모달 객체 탐지#

표준 객체 탐지기는 사전에 정의된 클래스에 의존하는 반면, YOLO-World와 같은 멀티모달 접근 방식은 사용자가 개방형 어휘 텍스트 프롬프트를 사용하여 객체를 탐지할 수 있도록 합니다. 이는 Ultralytics 생태계에서 텍스트 개념과 시각적 특징을 연결하는 방식의 강력한 효과를 보여줍니다.

다음 Python 코드 스니펫은 사전 학습된 YOLO-World 모델을 사용하여 사용자 지정 텍스트 입력을 기반으로 객체를 탐지하는 방법을 보여줍니다.

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multi-Modal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person", "bus", "traffic light"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

주요 용어 구분#

최신 AI의 흐름을 파악하려면 '멀티모달 학습'과 관련 개념을 구분하는 것이 도움이 됩니다.

• 멀티모달 모델: "멀티모달 학습"은 방법론이자 연구 분야를 의미합니다. "멀티모달 모델"(GPT-4 또는 Google의 Gemini와 같은)은 해당 학습 과정의 결과물인 특정 아티팩트 또는 소프트웨어 제품입니다.
• 단일 모달 AI: 기존 컴퓨터 비전은 일반적으로 시각 데이터에만 집중하는 단일 모달 방식입니다. Ultralytics YOLO26과 같은 모델은 객체 탐지를 위한 최첨단 CV 도구이지만, 일반적으로 더 큰 멀티모달 파이프라인의 일부가 아닌 한 시각 입력만 처리합니다.
• 대규모 언어 모델 (LLMs): 기존 LLM은 텍스트만으로 학습된 단일 모달 모델입니다. 그러나 업계는 이미지와 텍스트를 기본적으로 처리할 수 있는 "대규모 멀티모달 모델"(LMM)로 전환하고 있으며, PyTorch와 TensorFlow와 같은 프레임워크가 이러한 흐름을 뒷받침하고 있습니다.

향후 전망#

멀티모달 학습의 발전 방향은 범용 인공지능 (AGI)의 특성을 갖춘 시스템으로 향하고 있습니다. 언어를 시각적·물리적 현실에 성공적으로 접지함으로써 이러한 모델은 통계적 상관관계를 넘어 진정한 추론을 향해 나아가고 있습니다. MIT CSAIL 및 Stanford Center for Research on Foundation Models와 같은 기관의 연구는 기계가 복잡한 다중 감각 환경을 인식하고 상호작용하는 방식의 한계를 계속해서 확장하고 있습니다.

Ultralytics는 이러한 발전을 Ultralytics Platform에 통합하여, 사용자가 데이터를 관리하고 모델을 학습하며 사용 가능한 모든 모달리티를 폭넓게 활용하는 솔루션을 배포할 수 있도록 지원합니다. 여기에는 YOLO26의 속도부터 개방형 어휘 탐지의 다재다능함까지 포함됩니다.