Visual Instruction Tuning
Tinh chỉnh chỉ dẫn thị giác huấn luyện bổ sung model thị giác-ngôn ngữ trên các ví dụ gồm hình ảnh, chỉ dẫn và phản hồi để model làm theo những yêu cầu mở về hình ảnh.
Fine-tune chỉ dẫn thị giác là quá trình fine-tune một model thị giác-ngôn ngữ (VLM) trên các ví dụ ghép ảnh và chỉ dẫn bằng ngôn ngữ tự nhiên với phản hồi mong muốn, giúp model học cách làm theo yêu cầu mở về ảnh: mô tả cảnh, trả lời câu hỏi, đọc văn bản hoặc suy luận về nội dung hiển thị. Phương pháp này mở rộng fine-tune chỉ dẫn chỉ dùng văn bản sang hình ảnh, đồng thời biến model chỉ có thể liên hệ hình ảnh với từ ngữ thành trợ lý thị giác. Haotian Liu, Chunyuan Li, Qingyang Wu và Yong Jae Lee tại Đại học Wisconsin-Madison, Microsoft Research và Đại học Columbia đã giới thiệu thuật ngữ này trong bài Visual Instruction Tuning, một bài báo trình bày tại NeurIPS 2023, cùng với model LLaVA (Trợ lý Ngôn ngữ Lớn và Thị giác) được phát triển từ nghiên cứu đó.
Tạo dữ liệu chỉ dẫn#
Có ít dataset ghép ảnh với chỉ dẫn và phản hồi, nên các tác giả LLaVA đã tạo dữ liệu bằng model chỉ xử lý văn bản. Với mỗi ảnh COCO, họ cung cấp cho GPT-4 mô tả mang tính biểu tượng của ảnh, gồm chú thích do con người viết và bounding box kèm danh mục đối tượng và tọa độ, cùng một số ví dụ do con người viết, rồi yêu cầu GPT-4 viết câu hỏi và câu trả lời như thể model có thể nhìn thấy ảnh. Dữ liệu tổng hợp thu được, phát hành với tên LLaVA-Instruct-150K, gồm 158,000 mẫu thuộc ba loại: 58,000 hội thoại nhiều lượt, 23,000 mô tả chi tiết và 77,000 câu hỏi suy luận phức tạp cần tư duy từng bước về cảnh.
Kiến trúc và huấn luyện#
LLaVA kết nối bộ mã hóa ảnh CLIP ViT-L/14 với mô hình ngôn ngữ lớn (LLM) Vicuna thông qua một phép chiếu tuyến tính duy nhất, ánh xạ các đặc trưng ảnh vào không gian embedding của các từ trong LLM, nhờ đó ảnh đi vào LLM dưới dạng một chuỗi token thị giác đứng trước chỉ dẫn. Quá trình huấn luyện diễn ra qua hai giai đoạn:
- Căn chỉnh đặc trưng: Trên 595,000 cặp ảnh-chú thích được lọc từ dataset CC3M, chỉ phép chiếu được huấn luyện, còn bộ mã hóa thị giác và LLM được giữ cố định để các token thị giác có thể được LLM diễn giải.
- Fine-tune chỉ dẫn thị giác: Trên dữ liệu chỉ dẫn, cả phép chiếu và LLM đều được cập nhật, còn bộ mã hóa thị giác được giữ cố định. Loss token tiếp theo chỉ được tính trên câu trả lời của trợ lý, không tính trên token ảnh hoặc chỉ dẫn của người dùng.
Model tạo ra có thể hội thoại về những hình ảnh và chỉ dẫn chưa từng thấy. Trên benchmark tổng hợp về làm theo chỉ dẫn đa phương thức được GPT-4 chấm điểm, LLaVA đạt 85.1% điểm số của chính GPT-4; sau khi fine-tune trên benchmark ScienceQA, ensemble gồm LLaVA và GPT-4 thiết lập kết quả tiên tiến nhất mới với độ chính xác 92.53%.
LLaVA-1.5 đơn giản hóa và cải thiện công thức: thay phép chiếu tuyến tính bằng MLP hai layer, tăng độ phân giải đầu vào CLIP lên 336 pixel, bổ sung các dataset hỏi đáp thị giác học thuật với prompt ngắn nêu rõ định dạng câu trả lời, rồi hoàn tất huấn luyện trong khoảng một ngày trên một node duy nhất với tám GPU A100, sử dụng 1.2 triệu mẫu công khai cho model 13 tỷ tham số. InstructBLIP của Salesforce chọn hướng khác: chuyển các dataset đã gán nhãn hiện có sang định dạng chỉ dẫn và điều kiện hóa đặc trưng ảnh theo chỉ dẫn.
Ứng dụng#
VLM được fine-tune bằng chỉ dẫn thay thế nhiều model đơn tác vụ bằng một hệ thống có thể trả lời câu hỏi tự do, viết chú thích ảnh với mức độ chi tiết theo yêu cầu của người dùng và đọc văn bản trong ảnh, kết hợp nhận dạng ký tự quang học (OCR) với suy luận về ý nghĩa của văn bản. Các model đọc ảnh chụp màn hình theo cách này hỗ trợ tác tử điều khiển máy tính. Công thức này cũng áp dụng được cho các lĩnh vực chuyên biệt: LLaVA-Med được căn chỉnh trên các cặp chú thích hình ảnh y sinh từ PubMed Central, fine-tune bằng chỉ dẫn về các hình ảnh đó do GPT-4 tạo và huấn luyện trong chưa đầy 15 giờ trên tám GPU A100, mở ra hướng phát triển trợ lý phân tích ảnh y tế có thể giải thích kết quả bằng lời.
Nhiều VLM được fine-tune bằng chỉ dẫn cũng trả về vị trí đối tượng khi được yêu cầu. Ultralytics Platform sử dụng tính năng này trong gán nhãn thông minh theo prompt lớp: trên dataset phát hiện có 1-200 lớp, các model mã nguồn mở được lưu trữ như Moondream 3.1 hoặc model thị giác trả phí của nhà cung cấp sẽ tìm các lớp trong dataset ở một ảnh và trả về các box có thể chỉnh sửa để người dùng xem xét.
VLM được fine-tune bằng chỉ dẫn cũng thừa hưởng điểm yếu từ dữ liệu của chúng. Câu trả lời được tạo có thể mô tả những đối tượng không có trong ảnh; các phương pháp tối ưu theo sở thích như Tối ưu hóa sở thích trực tiếp (DPO) được áp dụng sau fine-tune chỉ dẫn để giảm các ảo giác này.
Fine-tune chỉ dẫn thị giác so với các khái niệm liên quan#
- Fine-tune chỉ dẫn bằng văn bản: Fine-tune LLM chỉ xử lý văn bản trên các cặp chỉ dẫn-phản hồi. Fine-tune chỉ dẫn thị giác thêm ảnh vào mỗi ví dụ và huấn luyện kết nối giữa bộ mã hóa thị giác với LLM.
- Tiền huấn luyện thị giác-ngôn ngữ: Các model tương phản như CLIP học cách ghép ảnh với chú thích, cung cấp đặc trưng thị giác cho VLM nhưng không có khả năng làm theo chỉ dẫn.
- Prompt thị giác: Hướng dẫn model tại thời điểm suy luận bằng các tín hiệu thị giác như điểm, box hoặc ảnh ví dụ, chẳng hạn trong phân đoạn có thể prompt. Fine-tune chỉ dẫn thị giác là một giai đoạn huấn luyện, trong đó prompt được viết bằng ngôn ngữ tự nhiên.
- Fine-tune hỏi đáp thị giác (VQA): Huấn luyện model trên một tác vụ và định dạng câu trả lời, chẳng hạn một benchmark VQA duy nhất. Fine-tune chỉ dẫn thị giác kết hợp nhiều loại tác vụ trong một định dạng chỉ dẫn để model khái quát hóa sang các yêu cầu mới.
