Multimodal AI

멀티모달 AI는 텍스트를 위한 자연어 처리 (NLP)나 이미지를 위한 컴퓨터 비전 (CV) 같은 단일 입력 소스에 특화된 전통적인 단일 모달(unimodal) 시스템과 달리, 여러 서로 다른 유형의 데이터, 즉 '모달리티'의 정보를 동시에 처리, 해석 및 종합하도록 설계된 정교한 인공지능 (AI) 시스템 계열을 가리킵니다. 멀티모달 AI는 다양한 데이터 스트림을 통합하여 인간의 지각을 모방합니다. 이러한 통합에는 시각 데이터(이미지, 비디오)를 언어 데이터(텍스트, 음성 오디오) 및 감각 정보(LiDAR, 레이더, 열화상)와 결합하는 작업이 포함될 수 있습니다. 이러한 결합된 입력을 활용함으로써 이 모델들은 복잡한 실제 시나리오에 대해 더 깊고 맥락을 인식하는 이해를 달성하며, 인공 일반 지능 (AGI)의 광범위한 기능에 더 가까이 다가갑니다.

Multimodal 시스템 작동 방식#

Multimodal AI의 핵심 강점은 서로 다른 데이터 유형을 비교하고 결합할 수 있는 공유 수학적 공간에 매핑하는 능력에 있습니다. 이 과정은 일반적으로 인코딩, 정렬 및 융합이라는 세 가지 주요 단계를 포함합니다.

1. 특징 추출: 특화된 신경망들이 각 모달리티를 독립적으로 처리하여 주요 패턴을 식별합니다. 예를 들어, 합성곱 신경망 (CNN)은 사진에서 시각적 특징을 추출할 수 있으며, 반면에 Transformer는 동반되는 캡션을 처리합니다.

2. 정렬 및 임베딩: 추출된 특징은 고차원의 수치 벡터로 변환됩니다. 모델은 의미론적으로 유사한 개념들(예: 고양이 이미지와 텍스트 단어 "cat")이 벡터 공간에서 서로 가깝게 위치하도록 이 벡터들을 정렬하는 법을 학습합니다. 이는 OpenAI의 CLIP 같은 모델에서 널리 사용되는 방법인 대조 학습과 같은 기법을 통해 종종 달성됩니다.

3. 데이터 융합: 시스템은 고급 융합 기술을 사용하여 정렬된 데이터를 병합합니다. 최신 아키텍처는 어텐션 메커니즘을 사용하여 맥락에 따라 한 모달리티의 중요도를 다른 모달리티에 비해 동적으로 가중치를 부여함으로써, 이미지가 모호할 때는 텍스트에 집중하거나 그 반대의 작업을 수행할 수 있도록 합니다.

실제 애플리케이션 사례#

Multimodal AI는 단일 모달리티 시스템으로는 불가능했던 기능을 구현하여 다양한 산업 전반에 걸쳐 혁신을 주도하고 있습니다.

• 시각적 질의응답 (VQA): 이 응용 프로그램에서는 사용자가 AI에게 이미지를 제시하고 그에 관한 자연어 질문을 할 수 있습니다. 예를 들어, 시각 장애가 있는 사용자가 식료품 저장소 사진을 업로드하고 "파스타가 남아 있나요?"라고 물어볼 수 있습니다. 모델은 시각적 콘텐츠와 텍스트 쿼리를 처리하여 구체적인 답변을 제공합니다.
• 자율주행 차량: 자율주행차는 안전하게 주행하기 위해 카메라, LiDAR 포인트 클라우드, 레이더의 데이터를 결합한 멀티모달 입력에 크게 의존합니다. 이 중복성은 하나의 센서가 고장 나더라도(예: 태양 눈부심으로 인해 카메라가 시야를 잃은 경우) 미국자동차공학회 (SAE)에서 정의한 안전 기준을 다른 센서들이 유지할 수 있도록 보장합니다.
• 의료 진단: 고급 의료 AI 시스템은 구조화되지 않은 텍스트 형태의 환자 병력 및 유전 데이터와 함께 의료 이미지 분석(MRI 또는 X선 등)을 분석합니다. 이 종합적인 관점은 의사들이 더 정확한 진단을 내리는 데 도움을 주며, 이는 Nature Digital Medicine에서 자주 논의되는 주제입니다.
• 생성형 AI: Stable Diffusion과 같이 텍스트 프롬프트로부터 이미지를 생성하는 도구는 언어적 설명과 시각적 텍스처 간의 관계를 이해하는 모델의 능력에 전적으로 의존합니다.

Ultralytics를 통한 오픈 어휘 감지(Open-Vocabulary Detection)#

표준 객체 탐지기는 미리 정의된 카테고리 목록에 의존하는 반면, YOLO-World와 같은 멀티모달 접근 방식은 사용자가 개방형 어휘(open-vocabulary) 텍스트 프롬프트를 사용하여 객체를 탐지할 수 있게 해줍니다. 이는 Ultralytics 생태계 내에서 언어 명령과 시각적 인식 사이의 간극을 메워줍니다.

다음 예제는 ultralytics 라이브러리를 사용하여 모델이 사용자 정의 텍스트 입력을 기반으로 객체를 탐지하는 개방형 어휘 탐지를 수행하는 방법을 보여줍니다:

from ultralytics import YOLOWorld

# Load a pretrained YOLO-World model (Multimodal: Text + Vision)
model = YOLOWorld("yolov8s-world.pt")

# Define custom text prompts (modalities) for the model to identify
model.set_classes(["person wearing a red hat", "blue backpack"])

# Run inference: The model aligns the text prompts with visual features
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Show the results
results[0].show()

관련 용어 구분#

현대 머신러닝 환경을 이해하려면 "Multimodal AI"를 관련 개념과 구별하는 것이 도움이 됩니다:

• 다중 모달 학습: 이는 혼합 데이터 유형에 대해 알고리즘을 학습시키는 학문적 분야와 방법론을 가리킵니다. "멀티모달 AI"는 일반적으로 실용적인 응용 프로그램 또는 그 결과로 나오는 시스템 자체를 가리킵니다.
• 대형 언어 모델 (LLM): 전통적인 LLM은 텍스트 데이터에만 독점적으로 학습된 단일 모달입니다. 그러나 산업계는 PyTorch 및 TensorFlow 같은 프레임워크의 지원을 받는 트렌드인, 이미지와 텍스트를 기본적으로 처리할 수 있는 "대형 멀티모달 모델"(LMM)로 전환하고 있습니다.
• 특화된 비전 모델: 최신 Ultralytics YOLO26 같은 모델은 시각 작업에 있어 매우 특화된 전문가입니다. 일반적인 멀티모달 모델이 장면에 대해 광범위하게 설명할 수 있는 반면, 특화된 모델은 엣지 하드웨어에서의 고속, 정밀한 객체 탐지 및 실시간 처리에 탁월합니다.

미래 전망#

멀티모달 AI의 궤적은 더 큰 추론 능력을 갖춘 시스템을 향하고 있습니다. 언어를 시각적 및 물리적 현실에 성공적으로 접목함으로써, 이 모델들은 통계적 상관관계를 넘어 진정한 이해를 향해 나아가고 있습니다. Google DeepMind 및 Stanford Center for Research on Foundation Models 같은 기관의 연구는 기계가 복잡한 환경을 인식하는 방식의 한계를 계속해서 넓혀가고 있습니다.

Ultralytics에서는 Ultralytics Platform에 이러한 발전 사항들을 통합하여 사용자가 데이터를 관리하고, 모델을 학습시키며, YOLO26의 속도와 멀티모달 입력의 다양성을 결합하여 사용 가능한 모든 모달리티의 스펙트럼을 활용하는 솔루션을 배포할 수 있도록 지원하고 있습니다.