Multimodal AI

멀티모달 AI는 텍스트, 이미지, 비디오, 오디오, 라이다 및 레이더와 같은 센서 측정값 등 두 가지 이상의 데이터 유형, 즉 모달리티를 입력받거나 결합하거나 생성하는 인공지능 (AI) 시스템을 가리킵니다. 멀티모달 어시스턴트는 대시보드 경고등 사진을 살펴보고, 이에 대한 입력된 질문을 읽은 뒤, 텍스트나 음성으로 답할 수 있으며, 자율주행차는 카메라, 라이다, 레이더 데이터를 하나의 도로 이미지로 통합합니다. 이 용어는 시스템과 제품을 지칭하며, 시스템과 제품은 모델이 모달리티 간의 관계를 학습하도록 하는 대조 정렬 및 융합 같은 학습 방법인 멀티모달 학습을 사용해 구축됩니다.

멀티모달 시스템 구축 방법#

먼저 각 모달리티는 이미지용 비전 트랜스포머 (ViT)나 오디오용 스펙트로그램 인코더처럼 해당 모달리티에 적합한 인코더를 통과해 원시 입력을 임베딩으로 변환합니다. 그런 다음 융합 단계에서 임베딩을 결합하고 디코더나 작업 헤드가 출력을 생성합니다. 현재 대부분의 어시스턴트는 모든 데이터를 대규모 언어 모델 (LLM)을 통해 처리합니다. LLaVA(2023)는 이미지 특징을 토큰과 유사한 벡터로 변환하는 학습된 프로젝션을 통해 CLIP 이미지 인코더를 Vicuna 언어 모델과 연결했으며, DeepMind의 Flamingo(2022)는 텍스트 토큰이 이미지 특징에 어텐션할 수 있도록 동결된 언어 모델에 새로운 교차 어텐션 레이어를 삽입했습니다.

네이티브 멀티모달 모델은 완성된 언어 모델에 인코더를 연결하는 대신, 처음부터 혼합 데이터로 학습합니다. Google은 2023년 12월 Gemini를 네이티브 멀티모달 모델로 소개했으며, OpenAI의 GPT-4o(2024년 5월)는 텍스트, 오디오, 이미지, 비디오를 어떤 조합으로든 입력받고 음성 입력에 평균 320밀리초 만에 응답합니다.

ViLT(2021)와 같은 초기 단일 스트림 모델은 이미지 패치와 질문 토큰을 하나의 트랜스포머에 입력하고, 3,129개의 고정 답변 어휘에서 답을 선택했습니다. ViLT는 CPU에서 이미지 관련 질문에 답할 수 있을 만큼 작습니다.

import requests
import torch
from PIL import Image
from transformers import ViltForQuestionAnswering, ViltProcessor

# ViLT embeds image patches and question tokens into one transformer input sequence
processor = ViltProcessor.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
model = ViltForQuestionAnswering.from_pretrained("dandelin/vilt-b32-finetuned-vqa")
image = Image.open(requests.get("https://ultralytics.com/images/bus.jpg", stream=True).raw)

for question in ["What color is the bus?", "How many people are there?", "Is it raining?"]:
    inputs = processor(image, question, return_tensors="pt")
    with torch.no_grad():
        logits = model(**inputs).logits

    # Pick the most likely answer from the model's fixed answer vocabulary
    print(f"{question} -> {model.config.id2label[logits.argmax(-1).item()]}")

ViLT는 "파란색과 흰색" 및 "아니요"라고 정확히 답하고 사람 수를 3명으로 세지만, 적어도 네 명이 부분적으로 보입니다. 두 명은 전체 모습이 보이는 채 걷고 있으며, 두 명은 왼쪽과 오른쪽 가장자리에서 잘려 있습니다. 작거나 부분적으로만 보이는 물체를 세는 것은 비전-언어 모델에서 흔히 발생하는 오류입니다.

응용 분야#

• 시각 질의응답 (VQA): Be My Eyes는 2023년 Be My AI를 출시했습니다. Be My AI는 OpenAI의 GPT-4를 사용해 사진을 설명하고 시각장애인 및 저시력 사용자의 후속 질문에 답합니다.
• 자율주행차: Waymo의 로보택시와 같은 차량은 카메라, 라이다, 레이더를 결합하며, 각 센서는 눈부심, 어둠, 안개 등 다른 센서가 취약한 조건을 보완합니다.
• 의료: 임상 모델은 영상 자료와 함께 환자의 메모 및 병력을 읽으며, 이는 영상의학과 전문의가 이미지를 판독할 때 활용하는 맥락입니다.
• 텍스트-이미지 생성: Stable Diffusion과 같은 모델은 텍스트 설명을 이미지로 변환하며, 텍스트-비디오 모델은 이를 움직임으로 확장합니다.
• 멀티모달 RAG: LLM이 답변을 생성할 수 있도록 이미지, 표, 텍스트 구절을 검색합니다.

데이터셋 레이블링도 멀티모달 작업이 되었습니다. 탐지 데이터셋을 처리할 때 Ultralytics Platform의 클래스 프롬프트 기반 스마트 어노테이션은 데이터셋의 클래스 이름을 텍스트로 전송합니다. 그러면 Microsoft의 Florence-2, IDEA Research의 Grounding DINO, Meta의 SAM 3.1과 같은 호스팅 모델이 편집 가능한 박스를 반환해 YOLO26 탐지기 학습에 사용할 수 있습니다. VLM 리더보드는 이러한 모델과 생성형 VLM이 실제 탐지 데이터셋에 얼마나 정확하게 레이블을 지정하는지 비교합니다.

멀티모달 AI와 관련 용어 비교#

• 멀티모달 학습: 대조 정렬 및 조기·후기·교차 어텐션 융합과 같이 여러 모달리티를 대상으로 학습하는 방법입니다. 멀티모달 AI는 이를 통해 만들어지는 시스템과 애플리케이션입니다.
• 멀티모달 모델: 여러 모달리티를 처리하도록 학습된 단일 모델로, 대부분의 멀티모달 AI 시스템의 핵심 구성 요소입니다.
• 비전-언어 모델 (VLM): 가장 흔한 유형의 멀티모달 모델로, 이미지나 비디오와 텍스트만 처리합니다.
• 센서 융합: 여러 센서에서 동일한 장면을 측정한 결과를 결합하며, 보통 칼만 필터를 사용합니다. 이 방식은 학습 기반 멀티모달 모델보다 훨씬 오래전부터 로보틱스와 차량 분야에서 사용되어 왔습니다.