Visual Instruction Tuning

시각 지시 튜닝은 비전-언어 모델(VLM)을 이미지, 자연어 지시, 이에 대한 정답을 짝지은 예제로 파인튜닝하는 방법입니다. 이를 통해 모델은 장면 설명, 질문 답변, 텍스트 읽기, 이미지에 표시된 내용에 대한 추론과 같은 개방형 이미지 요청을 따르는 방법을 학습합니다. 이 방법은 텍스트 전용 지시 튜닝을 이미지로 확장하며, 그림과 단어를 연관 지을 수만 있는 모델을 시각 어시스턴트로 전환하는 단계입니다. 위스콘신-매디슨 대학교, Microsoft Research, 컬럼비아 대학교의 Haotian Liu, Chunyuan Li, Qingyang Wu, Yong Jae Lee는 NeurIPS 2023에서 구두 발표 논문으로 소개한 시각 지시 튜닝에서 이 용어와 그 결과물인 LLaVA(대규모 언어 및 비전 어시스턴트) 모델을 함께 발표했습니다.

지시 데이터 생성#

이미지와 지시 및 응답을 짝지은 데이터셋은 많지 않았으므로 LLaVA 저자들은 텍스트 전용 모델을 사용해 데이터를 생성했습니다. 각 COCO 이미지에 대해 GPT-4에 이미지의 상징적 설명, 즉 사람이 작성한 캡션과 객체 범주 및 좌표가 포함된 바운딩 박스를 제공하고, 직접 작성한 예시 몇 개를 덧붙인 다음, 사진을 볼 수 있는 것처럼 질문과 답변을 작성하도록 요청했습니다. LLaVA-Instruct-150K로 공개된 결과물인 합성 데이터에는 세 종류의 샘플 158,000개가 포함됩니다. 멀티턴 대화 58,000개, 상세 설명 23,000개, 장면을 단계별로 추론해야 답할 수 있는 복합 추론 질문 77,000개입니다.

아키텍처와 학습#

LLaVA는 CLIP ViT-L/14 이미지 인코더와 Vicuna 대규모 언어 모델(LLM)을 연결합니다. 단일 선형 투영 계층이 이미지 특징을 LLM의 단어 임베딩 공간으로 매핑하므로 이미지는 지시 앞에 놓이는 시각적 토큰 시퀀스로 LLM에 입력됩니다. 학습은 두 단계로 진행됩니다.

1. 특징 정렬: CC3M 데이터셋에서 필터링한 이미지-캡션 쌍 595,000개를 사용해 투영 계층만 학습하고, 비전 인코더와 LLM은 고정합니다. 이 과정을 거치면 LLM이 시각 토큰을 읽을 수 있습니다.
2. 시각 지시 튜닝: 지시 데이터로 학습할 때는 비전 인코더를 고정한 채 투영 계층과 LLM을 모두 업데이트합니다. 다음 토큰 손실은 이미지 토큰이나 사용자 지시가 아니라 어시스턴트의 답변에 대해서만 계산됩니다.

그 결과 모델은 한 번도 접하지 않은 이미지와 지시에 관해서도 대화할 수 있었습니다. GPT-4가 점수를 매긴 합성 멀티모달 지시 수행 벤치마크에서 LLaVA는 GPT-4 자체 점수의 85.1%를 달성했습니다. 또한 ScienceQA 벤치마크에서 파인튜닝한 뒤 LLaVA와 GPT-4의 앙상블은 정확도 92.53%로 새로운 최고 성능을 기록했습니다.

LLaVA-1.5는 방법을 간소화하고 성능을 강화했습니다. 선형 투영 계층을 2계층 MLP로 교체하고, CLIP 입력 해상도를 336픽셀로 높였으며, 답변 형식을 지정하는 짧은 프롬프트와 함께 학술용 시각 질의응답 데이터셋을 추가했습니다. 또한 130억 파라미터 모델에 공개 샘플 120만 개를 사용해 A100 GPU 8개가 있는 단일 노드에서 약 하루 만에 학습을 마쳤습니다. Salesforce의 InstructBLIP은 기존 레이블 데이터셋을 지시 형식으로 변환하고 이미지 특징을 지시에 맞춰 조정하는 다른 접근 방식을 취했습니다.

응용 분야#

지시 튜닝된 VLM은 여러 단일 태스크 모델을 대체하는 하나의 시스템으로, 자유 형식 질문에 답하고 사용자가 요청한 세부 수준에 맞춰 이미지 캡션을 작성하며, 사진 속 텍스트를 읽고 해당 텍스트의 의미를 추론하는 광학 문자 인식(OCR)을 수행합니다. 이와 같은 방식으로 스크린샷을 읽는 모델은 컴퓨터 사용 에이전트를 구동합니다. 이 방법은 전문 분야에도 적용됩니다. LLaVA-Med는 PubMed Central의 생물의학 그림-캡션 쌍으로 정렬하고, 해당 자료에 관한 GPT-4 생성 지시로 튜닝했으며, A100 GPU 8개를 사용해 15시간 이내에 학습을 마쳤습니다. 이는 결과를 말로 설명하는 의료 영상 분석 어시스턴트로 이어지는 경로입니다.

질문을 받으면 많은 지시 튜닝된 VLM이 객체 위치도 반환합니다. Ultralytics Platform은 이 기능을 클래스 프롬프트 기반 Smart 주석에 사용합니다. 클래스가 1~200개인 탐지 데이터셋에서 Moondream 3.1과 같은 호스팅된 오픈 소스 모델 또는 제공업체의 유료 비전 모델이 이미지에서 데이터셋의 클래스를 찾아 검토할 수 있도록 편집 가능한 박스를 반환합니다.

지시 튜닝된 VLM은 학습 데이터의 약점도 물려받습니다. 생성된 답변은 이미지에 없는 객체를 묘사할 수 있으며, 지시 튜닝 후에는 직접 선호도 최적화(DPO)와 같은 선호도 기반 방법을 적용해 이러한 환각을 줄입니다.

시각 지시 튜닝과 관련 개념 비교#

• 텍스트 지시 튜닝: 텍스트 전용 LLM을 지시-응답 쌍으로 파인튜닝합니다. 시각 지시 튜닝은 각 예제에 이미지를 추가하고 비전 인코더와 LLM 간 연결을 학습합니다.
• 비전-언어 사전 학습: CLIP과 같은 대조 모델은 이미지와 캡션을 서로 연결하는 방법을 학습합니다. 이 과정은 VLM에 시각적 특징을 제공하지만 지시를 따르는 능력은 제공하지 않습니다.
• 시각 프롬프팅: 프롬프트 가능한 세그멘테이션처럼 점, 박스, 예시 이미지 등의 시각적 단서로 추론 시 모델을 유도합니다. 시각 지시 튜닝은 학습 단계이며, 여기서 프롬프트는 자연어로 작성됩니다.
• 시각 질의응답(VQA) 파인튜닝: 단일 VQA 벤치마크처럼 하나의 태스크와 답변 형식으로 모델을 학습합니다. 시각 지시 튜닝은 다양한 태스크 유형을 하나의 지시 형식으로 결합해 모델이 새로운 요청에도 일반화하도록 합니다.