YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Vision Language Model (VLM)

비전 언어 모델 (VLM)은 이미지와 텍스트를 함께 처리하여 캡션을 작성하고, 질문에 답하며, 이름으로 객체를 찾습니다. 아키텍처와 예시를 다룹니다.

비전-언어 모델(VLM)은 이미지와 텍스트, 그리고 대개 동영상도 함께 처리하는 신경망입니다. 설계에 따라 이미지와 캡션이 얼마나 잘 일치하는지 점수를 매기거나, 이미지에 관한 텍스트를 작성하거나, 텍스트 프롬프트에 지정된 객체를 찾습니다. VLM은 "버스 정류장에서 기다리는 사람이 몇 명인가요?"와 같은 질문에 답하고, 차트와 영수증을 구조화된 데이터로 변환하며, 자유 형식의 표현으로 설명된 객체의 위치를 찾습니다. 고정된 클래스 목록에서 예측하는 컴퓨터 비전 모델의 시각적 인식 기능과 대규모 언어 모델(LLM)의 개방형 언어 기능을 결합합니다.

비전 언어 모델의 작동 방식#

모든 VLM에는 이미지를 임베딩으로 변환하는 비전 인코더가 필요합니다. 일반적으로 Vision Transformer (ViT)를 사용하며, 이 임베딩을 텍스트와 연결하는 방법도 필요합니다. 일반적인 설계는 세 가지입니다:

  • 듀얼 인코더: CLIP과 SigLIP은 이미지와 텍스트를 각각 하나의 공통 임베딩 공간으로 인코딩합니다. 이 모델은 수억에서 수십억 개의 이미지-캡션 쌍을 사용한 대조 학습으로 훈련됩니다. 텍스트를 생성하는 대신 유사도를 측정하므로 제로샷 분류와 이미지 검색의 표준 도구로 사용됩니다.
  • 생성형 VLM: 보통 CLIP이나 SigLIP에서 가져온 사전 학습 비전 인코더는 프로젝터에 입력됩니다. 프로젝터는 패치 임베딩을 LLM 입력 공간의 "시각 토큰"으로 변환합니다. LLM은 텍스트 프롬프트와 함께 시각 토큰을 읽고 답변을 작성합니다. LLaVA-1.5가 이 방식으로 작동합니다. CLIP ViT-L/14 인코더는 336×336 이미지를 24×24 패치 그리드로 나눠 시각 토큰 576개를 생성합니다. DeepMind의 Flamingo는 다른 방식을 사용해 고정된 LLM에 교차 어텐션 계층을 삽입하고, 텍스트 토큰이 이미지 특징에 어텐션을 적용하도록 했습니다.
  • 개방형 어휘 탐지기: Grounding DINO, YOLO-World, YOLOE와 같은 모델은 이미지 영역과 텍스트 임베딩을 비교해 이름을 지정한 모든 객체의 바운딩 박스나 마스크를 반환합니다. 이 작업을 그라운딩이라고 합니다. 일부 생성형 VLM도 객체를 그라운딩하며, 바운딩 박스 좌표를 텍스트나 특수 위치 토큰으로 작성합니다.

생성형 설계에서는 LLM이 토큰을 하나씩 작성하며, 매 단계에서 시각 토큰과 프롬프트에 어텐션을 적용합니다:

생성형 VLM은 일반적으로 여러 단계에 걸쳐 학습합니다. 먼저 인코더와 LLM을 고정한 상태로 프로젝터가 이미지-캡션 쌍을 통해 시각 토큰과 LLM 임베딩을 정렬하도록 학습합니다. 그런 다음 시각 명령어 튜닝에서 이미지에 관한 대화로 모델을 미세 조정하고, RLHF와 같은 선호도 튜닝으로 이미지에 없는 내용을 묘사하는 답변을 줄입니다.

개방형 어휘 탐지기는 동일한 텍스트 매칭 기능을 실시간 탐지에 적용합니다. Tsinghua University 연구진이 소개한 YOLOE는 YOLO26 아키텍처 기반의 YOLOE-26으로 Ultralytics 패키지에서 사용할 수 있습니다. YOLOE는 Apple의 MobileCLIP2 텍스트 인코더를 사용해 클래스 이름을 임베딩으로 변환하고 이를 이미지 영역과 비교해 학습 중 레이블로 사용하지 않은 카테고리의 바운딩 박스와 인스턴스 마스크를 반환합니다. 아래 프롬프트에는 선글라스가 포함되어 있습니다. 선글라스는 폐쇄형 클래스 집합 YOLO 모델이 탐지하는 80개의 COCO 클래스에 포함되지 않습니다:

from ultralytics import YOLOE

# 개방형 어휘 YOLOE-26 탐지 및 분할 모델을 불러옵니다
model = YOLOE("yoloe-26s-seg.pt")

# 클래스 이름을 일반적인 단어로 지정합니다. 텍스트 인코더가 각 이름을 임베딩으로 변환합니다
model.set_classes(["person", "glasses", "bus"])

# 프롬프트에 지정된 클래스만 탐지하고 분할합니다
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

출력된 목록에는 버스와 사람 네 명, 그리고 그중 두 명이 쓴 안경이 포함됩니다. 단어 목록을 변경하면 재학습 없이 모델이 탐지하는 대상이 바뀝니다.

실제 적용 사례#

  • 시각 질의 응답: 검사, 소매, 고객 지원 도구는 VLM에 사진에 관한 질문을 합니다. 예를 들어 선반이 완전히 채워져 있는지, 대시보드 이미지에서 어떤 경고등이 켜져 있는지 물을 수 있습니다.
  • 문서 이해: VLM은 페이지 이미지에서 송장, 양식, 표, 차트를 직접 읽고 구조화된 필드를 반환하며, 별도의 OCR 단계를 대체하는 경우가 많습니다.
  • 이미지 캡셔닝 및 접근성: 생성된 설명은 스크린 리더용 대체 텍스트와 사진 라이브러리에서 검색할 수 있는 메타데이터를 제공합니다.
  • 로보틱스: Google DeepMind의 RT-2와 같은 비전-언어-행동 모델은 VLM의 출력을 로봇 동작까지 확장하므로 로봇이 "빈 캔을 집어 들어"와 같은 지시를 따를 수 있습니다.
  • 데이터 레이블링: 오픈 어휘 탐지기는 텍스트 프롬프트를 바탕으로 새로운 클래스의 박스와 마스크 초안을 작성해 어노테이터가 빈 이미지 대신 이를 시작점으로 삼게 합니다. Ultralytics Platform은 이러한 탐지기와 생성형 VLM을 사용해 탐지 데이터셋에 자동으로 어노테이션을 추가한 후 YOLO26 모델을 해당 레이블로 학습합니다.
  • LLM: 텍스트 전용 모델입니다. 생성형 VLM은 대부분 비전 인코더가 연결된 LLM이며, LLM의 추론 능력과 지식, 그리고 내용을 지어내는 경향을 그대로 이어받습니다.
  • 멀티모달 AI: 여러 데이터 유형을 결합하는 모델을 포괄하는 더 넓은 범주입니다. 오디오와 텍스트 또는 레이더와 카메라 이미지를 결합하는 모델은 VLM이 아니더라도 멀티모달 모델입니다.
  • 객체 탐지: 폐쇄형 클래스 탐지기는 학습한 클래스만 예측하며 텍스트 입력을 받지 않습니다. 오픈 어휘 탐지기는 추론 시점에 클래스 이름을 지정하면 이 작업을 대신 수행하는 VLM입니다. VLM 리더보드는 실제 데이터셋에서 오픈 어휘 탐지기와 생성형 VLM이 객체를 얼마나 정확하게 탐지하는지 비교합니다.

한계#

VLM은 환각을 일으킵니다. 캡션 생성기는 아무것도 없는 테이블 위에 포크가 있다고 묘사할 수 있는데, 이는 언어 모델이 그럴듯한 문장을 완성하기 때문입니다. 정밀한 공간 추론, 대규모 집단의 인원수 계산, 작은 글자 읽기 역시 취약한 부분이며, 이미지 하나를 처리할 때마다 LLM의 컨텍스트 윈도우 토큰을 수백 또는 수천 개 사용합니다. POPE 벤치마크는 "이미지에 자동차가 있나요?"와 같은 질문을 모델에 제시해 객체 환각을 측정합니다. 없는 객체는 무작위로 선택하거나 데이터셋에서 가장 자주 등장하는 객체 중에서 선택하거나, 이미지에 있는 객체와 함께 자주 나타나는 객체 중에서 선택합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요