Multimodal RAG

멀티모달 RAG는 텍스트뿐 아니라 이미지, 동영상, 오디오, 스캔 또는 렌더링된 문서도 포함하는 지식 베이스에 대한 검색 증강 생성(RAG)입니다. 질문에 따라 이러한 모달리티 중 가장 관련성 높은 항목을 검색하고, 비전-언어 모델(VLM)이 해당 항목을 바탕으로 답변을 생성합니다. 따라서 배선도, 제품 사진, PDF 안의 차트를 사전에 작성된 텍스트 설명에만 의존하지 않고 직접 검색하고 읽을 수 있습니다.

텍스트가 아닌 데이터의 인덱싱 방식#

가장 간단한 방법은 모든 데이터를 텍스트로 변환하는 것입니다. 이미지 캡셔닝, 광학 문자 인식(OCR), 음성-텍스트 변환 기록, 객체 탐지 레이블은 각 항목을 일반 텍스트 인덱스에서 검색할 수 있는 단어로 설명합니다. 이 방법은 기존 텍스트 RAG 파이프라인을 그대로 재사용할 수 있지만, 설명에 포함되지 않은 정보는 손실됩니다.

두 번째 방법은 이미지와 텍스트를 하나의 공유 공간에 임베딩하는 것입니다. 대조 학습으로 학습된 OpenAI의 CLIP 및 Google의 SigLIP 같은 모델은 사진과 사진을 설명하는 문장을 서로 가까운 임베딩으로 매핑하므로, 텍스트 질문으로 벡터 데이터베이스에서 이미지를 직접 검색할 수 있습니다. 문서의 경우 ColPali(2024)는 각 페이지의 스크린샷을 패치 벡터 그리드로 임베딩하고, 질문의 토큰과 ColBERT 방식의 지연 상호작용으로 점수를 계산합니다. 이 방식은 표와 차트가 가득한 PDF에서 OCR과 레이아웃 파싱을 생략합니다.

그런 다음 검색된 항목(대개 이미지와 텍스트 구절의 조합)을 질문과 함께 VLM에 전달해 답변을 생성합니다. 검색된 이미지를 근거로 답변을 생성하는 그라운딩은 모델이 학습 중에 보지 못한 특정 기업의 제어 패널 레이아웃 같은 시각적 세부 정보에 대한 환각을 줄여줍니다.

공유 임베딩 공간에서의 검색#

이 예제에서는 두 개의 이미지로 구성된 지식 베이스에서 각 질문에 답하는 이미지를 선택하기 위해 CLIP ViT-B/32 체크포인트를 사용합니다:

import requests
from PIL import Image
from transformers import CLIPModel, CLIPProcessor

model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

# Image knowledge base: CLIP embeds images and text into one shared vector space
urls = ["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/zidane.jpg"]
images = [Image.open(requests.get(url, stream=True, timeout=10).raw) for url in urls]
questions = ["What color is the man's tie?", "How many people are standing next to the bus?"]

# Retrieve: score each question against every image and keep the best match for the VLM
inputs = processor(text=questions, images=images, return_tensors="pt", padding=True)
scores = model(**inputs).logits_per_text
for question, row in zip(questions, scores):
    print(f"{question} -> {urls[row.argmax()].split('/')[-1]}")

넥타이에 관한 질문은 zidane.jpg을 검색하고 버스에 관한 질문은 bus.jpg을 검색합니다. CLIP이 각 질문의 텍스트 임베딩을 해당 질문과 관련된 사진에 가장 가깝게 배치하기 때문입니다. 이어지는 생성 단계는 Ultralytics LLM 인터페이스에서 처리합니다. llm(question, image=...)은 질문과 검색된 이미지를 OpenAI 호환 비전-언어 모델에 한 번에 전달하고 제공업체의 응답을 반환합니다.

멀티모달 RAG와 관련 용어의 비교#

• 시각 질의응답(VQA): 사용자가 제공한 이미지에 관한 질문에 답합니다. 멀티모달 RAG는 먼저 수천 개의 이미지, 페이지 또는 클립 중 살펴볼 항목을 찾습니다.
• 멀티모달 모델: OpenAI의 GPT나 Google의 Gemini 모델처럼 이미지와 텍스트를 함께 읽는 생성 모델입니다. 멀티모달 RAG는 이러한 모델에 표시할 정보를 결정하는 검색 시스템입니다.
• 시맨틱 검색: 검색 기능만 수행하며, 모델이 아니라 사람에게 순위가 매겨진 결과를 반환합니다.

실제 적용 사례#

• 제조 유지보수: 기술자가 고장 난 부품의 사진을 찍으면, 시스템은 일치하는 분해도를 담은 매뉴얼 페이지와 동일한 조립품의 이전 수리 사진을 검색합니다.
• 소매 검색 및 지원: 쇼핑객이 찍은 사진으로 시각적으로 유사한 카탈로그 제품을 검색하고, 어시스턴트는 제품 설명서를 바탕으로 착용감이나 호환성 관련 질문에 답합니다.
• 문서 질의응답: 연례 보고서, 과학 논문, 프레젠테이션 자료에서는 중요한 수치가 차트와 표에 담기는 경우가 많습니다. 페이지 이미지 검색을 사용하면 별도의 표 파서 없이 이러한 정보를 찾을 수 있습니다.
• 동영상 이해: 샘플링한 프레임이나 짧은 클립을 임베딩으로 인덱싱하면 "배송 밴이 언제 도착했나요?"와 같은 질문으로 적절한 영상 구간을 검색할 수 있습니다. 그러면 VLM은 몇 시간 분량의 동영상 대신 소수의 프레임만 읽습니다.

설계 시 고려 사항#

이미지는 컨텍스트 비용이 많이 듭니다. VLM은 이미지마다 수백 또는 수천 개의 토큰을 사용하므로, 파이프라인은 보통 상위 검색 이미지 몇 개만 전달하고 짧은 텍스트 구절로 보충합니다. 공유 임베딩 검색기는 학습 데이터의 한계도 그대로 이어받습니다. CLIP의 텍스트 인코더는 최대 77개 토큰을 처리하므로 긴 질문은 매칭 전에 잘리며, 전체 이미지 임베딩은 레이블의 일련번호 같은 작은 세부 정보보다 전체 장면의 내용을 더 잘 포착합니다. OCR로 읽을 수 있는 세부 정보는 텍스트 변환을 통해 검색 가능하게 유지되므로, 많은 시스템은 OCR 텍스트와 이미지 임베딩을 모두 인덱싱하고 하이브리드 검색으로 두 결과 목록을 병합합니다.