Vision Language Model (VLM)
비전 언어 모델 (VLM)은 이미지와 텍스트를 함께 처리하여 캡션을 작성하고, 질문에 답하며, 이름으로 객체를 찾습니다. 아키텍처와 예시를 다룹니다.
비전-언어 모델(VLM)은 이미지와 텍스트, 그리고 대개 동영상도 함께 처리하는 신경망입니다. 설계에 따라 이미지와 캡션이 얼마나 잘 일치하는지 점수를 매기거나, 이미지에 관한 텍스트를 작성하거나, 텍스트 프롬프트에 지정된 객체를 찾습니다. VLM은 "버스 정류장에서 기다리는 사람이 몇 명인가요?"와 같은 질문에 답하고, 차트와 영수증을 구조화된 데이터로 변환하며, 자유 형식의 표현으로 설명된 객체의 위치를 찾습니다. 고정된 클래스 목록에서 예측하는 컴퓨터 비전 모델의 시각적 인식 기능과 대규모 언어 모델(LLM)의 개방형 언어 기능을 결합합니다.
비전 언어 모델의 작동 방식#
모든 VLM에는 이미지를 임베딩으로 변환하는 비전 인코더가 필요합니다. 일반적으로 Vision Transformer (ViT)를 사용하며, 이 임베딩을 텍스트와 연결하는 방법도 필요합니다. 일반적인 설계는 세 가지입니다:
- 듀얼 인코더: CLIP과 SigLIP은 이미지와 텍스트를 각각 하나의 공통 임베딩 공간으로 인코딩합니다. 이 모델은 수억에서 수십억 개의 이미지-캡션 쌍을 사용한 대조 학습으로 훈련됩니다. 텍스트를 생성하는 대신 유사도를 측정하므로 제로샷 분류와 이미지 검색의 표준 도구로 사용됩니다.
- 생성형 VLM: 보통 CLIP이나 SigLIP에서 가져온 사전 학습 비전 인코더는 프로젝터에 입력됩니다. 프로젝터는 패치 임베딩을 LLM 입력 공간의 "시각 토큰"으로 변환합니다. LLM은 텍스트 프롬프트와 함께 시각 토큰을 읽고 답변을 작성합니다. LLaVA-1.5가 이 방식으로 작동합니다. CLIP ViT-L/14 인코더는 336×336 이미지를 24×24 패치 그리드로 나눠 시각 토큰 576개를 생성합니다. DeepMind의 Flamingo는 다른 방식을 사용해 고정된 LLM에 교차 어텐션 계층을 삽입하고, 텍스트 토큰이 이미지 특징에 어텐션을 적용하도록 했습니다.
- 개방형 어휘 탐지기: Grounding DINO, YOLO-World, YOLOE와 같은 모델은 이미지 영역과 텍스트 임베딩을 비교해 이름을 지정한 모든 객체의 바운딩 박스나 마스크를 반환합니다. 이 작업을 그라운딩이라고 합니다. 일부 생성형 VLM도 객체를 그라운딩하며, 바운딩 박스 좌표를 텍스트나 특수 위치 토큰으로 작성합니다.
생성형 설계에서는 LLM이 토큰을 하나씩 작성하며, 매 단계에서 시각 토큰과 프롬프트에 어텐션을 적용합니다:
생성형 VLM은 일반적으로 여러 단계에 걸쳐 학습합니다. 먼저 인코더와 LLM을 고정한 상태로 프로젝터가 이미지-캡션 쌍을 통해 시각 토큰과 LLM 임베딩을 정렬하도록 학습합니다. 그런 다음 시각 명령어 튜닝에서 이미지에 관한 대화로 모델을 미세 조정하고, RLHF와 같은 선호도 튜닝으로 이미지에 없는 내용을 묘사하는 답변을 줄입니다.
개방형 어휘 탐지기는 동일한 텍스트 매칭 기능을 실시간 탐지에 적용합니다. Tsinghua University 연구진이 소개한 YOLOE는 YOLO26 아키텍처 기반의 YOLOE-26으로 Ultralytics 패키지에서 사용할 수 있습니다. YOLOE는 Apple의 MobileCLIP2 텍스트 인코더를 사용해 클래스 이름을 임베딩으로 변환하고 이를 이미지 영역과 비교해 학습 중 레이블로 사용하지 않은 카테고리의 바운딩 박스와 인스턴스 마스크를 반환합니다. 아래 프롬프트에는 선글라스가 포함되어 있습니다. 선글라스는 폐쇄형 클래스 집합 YOLO 모델이 탐지하는 80개의 COCO 클래스에 포함되지 않습니다:
from ultralytics import YOLOE
# 개방형 어휘 YOLOE-26 탐지 및 분할 모델을 불러옵니다
model = YOLOE("yoloe-26s-seg.pt")
# 클래스 이름을 일반적인 단어로 지정합니다. 텍스트 인코더가 각 이름을 임베딩으로 변환합니다
model.set_classes(["person", "glasses", "bus"])
# 프롬프트에 지정된 클래스만 탐지하고 분할합니다
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")출력된 목록에는 버스와 사람 네 명, 그리고 그중 두 명이 쓴 안경이 포함됩니다. 단어 목록을 변경하면 재학습 없이 모델이 탐지하는 대상이 바뀝니다.
실제 적용 사례#
- 시각 질의 응답: 검사, 소매, 고객 지원 도구는 VLM에 사진에 관한 질문을 합니다. 예를 들어 선반이 완전히 채워져 있는지, 대시보드 이미지에서 어떤 경고등이 켜져 있는지 물을 수 있습니다.
- 문서 이해: VLM은 페이지 이미지에서 송장, 양식, 표, 차트를 직접 읽고 구조화된 필드를 반환하며, 별도의 OCR 단계를 대체하는 경우가 많습니다.
- 이미지 캡셔닝 및 접근성: 생성된 설명은 스크린 리더용 대체 텍스트와 사진 라이브러리에서 검색할 수 있는 메타데이터를 제공합니다.
- 로보틱스: Google DeepMind의 RT-2와 같은 비전-언어-행동 모델은 VLM의 출력을 로봇 동작까지 확장하므로 로봇이 "빈 캔을 집어 들어"와 같은 지시를 따를 수 있습니다.
- 데이터 레이블링: 오픈 어휘 탐지기는 텍스트 프롬프트를 바탕으로 새로운 클래스의 박스와 마스크 초안을 작성해 어노테이터가 빈 이미지 대신 이를 시작점으로 삼게 합니다. Ultralytics Platform은 이러한 탐지기와 생성형 VLM을 사용해 탐지 데이터셋에 자동으로 어노테이션을 추가한 후 YOLO26 모델을 해당 레이블로 학습합니다.
VLM과 관련 용어 비교#
- LLM: 텍스트 전용 모델입니다. 생성형 VLM은 대부분 비전 인코더가 연결된 LLM이며, LLM의 추론 능력과 지식, 그리고 내용을 지어내는 경향을 그대로 이어받습니다.
- 멀티모달 AI: 여러 데이터 유형을 결합하는 모델을 포괄하는 더 넓은 범주입니다. 오디오와 텍스트 또는 레이더와 카메라 이미지를 결합하는 모델은 VLM이 아니더라도 멀티모달 모델입니다.
- 객체 탐지: 폐쇄형 클래스 탐지기는 학습한 클래스만 예측하며 텍스트 입력을 받지 않습니다. 오픈 어휘 탐지기는 추론 시점에 클래스 이름을 지정하면 이 작업을 대신 수행하는 VLM입니다. VLM 리더보드는 실제 데이터셋에서 오픈 어휘 탐지기와 생성형 VLM이 객체를 얼마나 정확하게 탐지하는지 비교합니다.
한계#
VLM은 환각을 일으킵니다. 캡션 생성기는 아무것도 없는 테이블 위에 포크가 있다고 묘사할 수 있는데, 이는 언어 모델이 그럴듯한 문장을 완성하기 때문입니다. 정밀한 공간 추론, 대규모 집단의 인원수 계산, 작은 글자 읽기 역시 취약한 부분이며, 이미지 하나를 처리할 때마다 LLM의 컨텍스트 윈도우 토큰을 수백 또는 수천 개 사용합니다. POPE 벤치마크는 "이미지에 자동차가 있나요?"와 같은 질문을 모델에 제시해 객체 환각을 측정합니다. 없는 객체는 무작위로 선택하거나 데이터셋에서 가장 자주 등장하는 객체 중에서 선택하거나, 이미지에 있는 객체와 함께 자주 나타나는 객체 중에서 선택합니다.










