Visual Instruction Tuning

Visual instruction tuning là một kỹ thuật machine learning mang tính cách mạng, mở rộng các phương pháp xử lý ngôn ngữ tự nhiên truyền thống sang miền đa phương thức. Bằng cách huấn luyện một Vision Language Model (VLM) để tuân theo các chỉ thị rõ ràng của con người dựa trên dữ liệu đầu vào là hình ảnh hoặc video, các nhà phát triển có thể tạo ra các trợ lý AI hiểu và suy luận về nội dung trực quan. Không giống như các mô hình image classification tiêu chuẩn xuất ra một danh mục được xác định trước, visual instruction tuning trao quyền cho các mô hình thực hiện các tác vụ phức tạp, mở—chẳng hạn như mô tả một cảnh, đọc văn bản trong hình ảnh, hoặc trả lời các câu hỏi cụ thể về mối quan hệ không gian. Điều này thu hẹp khoảng cách giữa các large language models (LLMs) dựa trên văn bản và các pipeline computer vision truyền thống.

Hiểu về Khái niệm và Các điểm phân biệt#

Để nắm bắt visual instruction tuning, sẽ rất hữu ích nếu phân biệt nó với các khái niệm liên quan chặt chẽ trong hệ sinh thái AI:

• Instruction Tuning: Thường đề cập đến việc căn chỉnh các LLM chỉ có văn bản để tuân theo ýintent của con người một cách an toàn và chính xác. Visual instruction tuning áp dụng phương pháp tương tự này nhưng kết hợp hình ảnh vào prompt và đầu ra dự kiến.
• Visual Prompting: Thường liên quan đến việc tương tác với AI bằng các tín hiệu trực quan—chẳng hạn như vẽ một bbox, đặt một điểm, hoặc che một khu vực trên hình ảnh—để hướng dẫn trọng tâm của mô hình. Ngược lại, visual instruction tuning phụ thuộc nhiều vào các câu lệnh ngôn ngữ tự nhiên kết hợp với dữ liệu trực quan.

Quá trình huấn luyện thường liên quan đến việc fine-tuning một mô hình nền tảng đa phương thức được huấn luyện trước bằng cách sử dụng các tập dữ liệu mở rộng được định dạng dưới dạng các bộ ba hình ảnh-văn bản-chỉ thị. Nghiên cứu arXiv research on visual instruction tuning tiên phong, chẳng hạn như dự án LLaVA (Large Language-and-Vision Assistant), đã chứng minh rằng các mô hình này có thể đạt được khả năng zero-shot đáng chú ý. Ngày nay, các tổ chức AI lớn ứng dụng kỹ thuật này để cung cấp sức mạnh cho các mô hình tiên tiến, bao gồm OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, và Google DeepMind Gemini.

Các ứng dụng trong thực tế#

Bằng cách căn chỉnh các kiến trúc multimodal deep learning với ý định của con người, visual instruction tuning mở khóa các ứng dụng có tính tương tác cao trên nhiều ngành công nghiệp khác nhau:

• AI in Healthcare Diagnostics: Các chuyên gia y tế có thể sử dụng các mô hình đã được tinh chỉnh theo chỉ thị cho tác vụ Visual Question Answering (VQA). Một bác sĩ X-quang có thể nhắc hệ thống bằng hình ảnh X- quang và chỉ thị, "Highlight and explain any signs of pneumonia in the lower left lobe," cho phép AI đóng vai trò là một trợ lý chẩn đoán cộng tác.
• AI in Manufacturing Quality Control: Thay vì huấn luyện một mô hình phát hiện lỗi cứng nhắc từ đầu, các nhà vận hành có thể hướng dẫn một hệ thống thị giác như Microsoft Florence-2 bằng cách phát biểu, "Identify any microscopic scratches or dents on this newly fabricated metal casing."

Xây dựng các Workflow Thị giác#

Để xây dựng các hệ thống tận dụng các khả năng này, các nhà phát triển thường dựa vào các mô hình object detection mạnh mẽ để trích xuất ngữ cảnh cấu trúc từ hình ảnh trước khi truyền dữ liệu đó đến VLM. Sử dụng tài liệu PyTorch multi-modal documentation hoặc các mô hình TensorFlow vision models, các nhà phát triển có thể tạo ra các pipeline kết hợp.

Ví dụ, bạn có thể sử dụng một mô hình Ultralytics YOLO để nhanh chóng nhận diện một cảnh quan và tạo ra một câu lệnh ngôn ngữ có thông tin cho VLM ở bước tiếp theo:

from ultralytics import YOLO

# Load an Ultralytics YOLO26 model to extract visual context
model = YOLO("yolo26n.pt")

# Perform inference to identify objects for a downstream VLM prompt
results = model("https://ultralytics.com/images/bus.jpg")

# Extract object names to dynamically build an instruction prompt
objects = [model.names[int(cls)] for cls in results[0].boxes.cls]
prompt = f"Please provide a detailed safety analysis of the scene containing these objects: {', '.join(objects)}"

print(prompt)
# Output: Please provide a detailed safety analysis of the scene containing these objects: bus, person, person...

Quản lý các tập dữ liệu đa phương thức phức tạp cần thiết cho các ứng dụng thế hệ mới này có thể là một thử thách. Ultralytics Platform đơn giản hóa quá trình này bằng cách cung cấp các công cụ đầu cuối cho việc gán nhãn tập dữ liệu, huấn luyện trên đám mây và triển khai mô hình liền mạch. Dù bạn đang đọc các tài liệu tiên tiến trên ACM digital library hay các kho lưu trữ IEEE Xplore computer vision, sự dịch chuyển hướng tới các hệ thống thị giác có khả năng cao, được tinh chỉnh theo chỉ thị đại diện cho đỉnh cao của trí tuệ nhân tạo. Bằng cách kết hợp khả năng nhận thức của YOLO26 với các mô hình suy luận được tinh chỉnh, các tổ chức có thể triển khai các tác nhân AI cực kỳ mạnh mẽ.