Visual Instruction Tuning

Visual instruction tuning là một kỹ thuật machine learning mang tính chuyển đổi, mở rộng các phương pháp xử lý ngôn ngữ tự nhiên truyền thống sang lĩnh vực đa phương thức. Bằng cách huấn luyện một Vision Language Model (VLM) để tuân theo các chỉ dẫn rõ ràng của con người dựa trên đầu vào là hình ảnh hoặc video, các lập trình viên có thể tạo ra những trợ lý AI có khả năng thấu hiểu và suy luận về nội dung hình ảnh. Không giống như các mô hình image classification tiêu chuẩn xuất ra một danh mục được xác định trước, visual instruction tuning trao quyền cho các mô hình thực hiện các tác vụ phức tạp, mở—như mô tả một cảnh quan, đọc văn bản trong hình ảnh, hoặc trả lời các câu hỏi cụ thể về mối quan hệ không gian. Điều này thu hẹp khoảng cách giữa các large language models (LLMs) dựa trên văn bản và các pipeline computer vision truyền thống.

Link to this sectionHiểu về Khái niệm và Các điểm phân biệt#

Để nắm bắt visual instruction tuning, sẽ rất hữu ích nếu phân biệt nó với các khái niệm liên quan chặt chẽ trong hệ sinh thái AI:

• Instruction Tuning: Thường đề cập đến việc căn chỉnh các LLM chỉ có văn bản để tuân theo ý định của con người một cách an toàn và chính xác. Visual instruction tuning áp dụng cùng một phương pháp luận này nhưng kết hợp hình ảnh vào prompt và kết quả đầu ra dự kiến.
• Visual Prompting: Thường liên quan đến việc tương tác với AI bằng cách sử dụng các tín hiệu trực quan—như vẽ một bounding box, đặt một điểm, hoặc che một vùng trên hình ảnh—để hướng dẫn sự tập trung của mô hình. Ngược lại, visual instruction tuning dựa nhiều vào các lệnh ngôn ngữ tự nhiên kết hợp với dữ liệu trực quan.

Quá trình huấn luyện thường bao gồm việc fine-tuning một mô hình nền tảng đa phương thức đã được huấn luyện trước bằng cách sử dụng các tập dữ liệu mở rộng được định dạng theo bộ ba hình ảnh-văn bản-chỉ dẫn. Nghiên cứu tiên phong trên arXiv về visual instruction tuning, chẳng hạn như dự án LLaVA (Large Language-and-Vision Assistant), đã chứng minh rằng các mô hình này có thể đạt được khả năng zero-shot đáng kinh ngạc. Ngày nay, các tổ chức AI lớn sử dụng kỹ thuật này để cung cấp sức mạnh cho các mô hình tiên tiến, bao gồm OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, và Google DeepMind Gemini.

Link to this sectionCác ứng dụng trong thực tế#

Bằng cách căn chỉnh các kiến trúc multimodal deep learning với ý định của con người, visual instruction tuning mở ra các ứng dụng tương tác cao trên nhiều ngành công nghiệp khác nhau:

• AI trong Chẩn đoán Y tế: Các chuyên gia y tế có thể sử dụng các model đã được tinh chỉnh hướng dẫn (instruction-tuned) cho Trả lời Câu hỏi Hình ảnh (VQA). Một bác sĩ chẩn đoán hình ảnh có thể gửi lời nhắc (prompt) cho hệ thống kèm theo hình ảnh X-quang và hướng dẫn, "Highlight and explain any signs of pneumonia in the lower left lobe," cho phép AI đóng vai trò là một trợ lý chẩn đoán cộng tác.
• AI trong Kiểm soát Chất lượng Sản xuất: Thay vì training một model phát hiện lỗi cứng nhắc từ đầu, các kỹ thuật viên có thể hướng dẫn một hệ thống thị giác như Microsoft Florence-2 bằng cách nêu rõ, "Identify any microscopic scratches or dents on this newly fabricated metal casing."

Link to this sectionXây dựng các Workflow Thị giác#

Để xây dựng các hệ thống tận dụng những khả năng này, các lập trình viên thường dựa vào các mô hình object detection mạnh mẽ để trích xuất ngữ cảnh cấu trúc từ hình ảnh trước khi truyền dữ liệu đó sang VLM. Sử dụng tài liệu hướng dẫn đa phương thức của PyTorch hoặc các mô hình thị giác TensorFlow, các lập trình viên có thể tạo ra các pipeline lai.

Ví dụ, bạn có thể sử dụng một mô hình Ultralytics YOLO để nhanh chóng nhận diện một cảnh quan và tạo ra một câu lệnh ngôn ngữ có thông tin cho VLM ở bước tiếp theo:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

Việc quản lý các tập dữ liệu đa phương thức, phức tạp cần thiết cho các ứng dụng thế hệ tiếp theo này có thể rất thách thức. Ultralytics Platform đơn giản hóa quy trình này bằng cách cung cấp các công cụ đầu cuối cho việc chú thích tập dữ liệu, huấn luyện trên đám mây và triển khai mô hình liền mạch. Cho dù bạn đang đọc các bài báo tiên tiến trên thư viện kỹ thuật số ACM hay các kho lưu trữ IEEE Xplore computer vision, sự chuyển dịch sang các hệ thống thị giác có khả năng cao và được tinh chỉnh theo chỉ dẫn thể hiện bước tiến mới nhất của trí tuệ nhân tạo. Bằng cách kết hợp khả năng nhận thức của YOLO26 với các mô hình suy luận đã được tinh chỉnh, các tổ chức có thể triển khai các AI agent vô cùng mạnh mẽ.