Vision Language Model (VLM)
Khám phá Model Thị giác-Ngôn ngữ (VLM) cùng Ultralytics. Tìm hiểu cách các model này kết nối thị giác máy tính với LLM để thực hiện VQA và phát hiện từ vựng mở bằng Ultralytics YOLO26.
Vision Language Model (VLM) là một loại trí tuệ nhân tạo có thể đồng thời xử lý và diễn giải cả thông tin hình ảnh (ảnh hoặc video) lẫn thông tin văn bản. Không giống các model thị giác máy tính truyền thống chỉ tập trung vào dữ liệu pixel, hoặc Mô hình ngôn ngữ lớn (LLM) chỉ hiểu văn bản, VLM kết nối hai phương thức này. Bằng cách huấn luyện trên các tập dữ liệu khổng lồ chứa cặp hình ảnh-văn bản, các model này học cách liên kết đặc trưng hình ảnh với khái niệm ngôn ngữ, cho phép mô tả hình ảnh, trả lời câu hỏi về cảnh vật và thậm chí thực thi lệnh dựa trên những gì model “nhìn thấy”.
Cách Vision Language Model hoạt động#
Về cốt lõi, VLM thường gồm hai thành phần chính: encoder thị giác và encoder văn bản. Encoder thị giác xử lý hình ảnh để trích xuất feature map và biểu diễn thị giác, còn encoder văn bản xử lý đầu vào ngôn ngữ. Sau đó, các luồng dữ liệu riêng biệt này được hợp nhất bằng những cơ chế như cross-attention để căn chỉnh thông tin hình ảnh và văn bản trong cùng một không gian embedding.
Những tiến bộ gần đây trong năm 2024 và 2025 hướng đến các kiến trúc hợp nhất hơn, trong đó một backbone transformer duy nhất xử lý cả hai phương thức. Chẳng hạn, các model như Google PaliGemma 2 cho thấy việc tích hợp hiệu quả các luồng dữ liệu này có thể nâng cao hiệu năng trên các tác vụ suy luận phức tạp. Sự căn chỉnh này giúp model hiểu ngữ cảnh, chẳng hạn nhận ra từ “apple” chỉ một loại quả trong ảnh cửa hàng tạp hóa nhưng là một công ty công nghệ trong logo.
Ứng dụng thực tế#
Khả năng hiểu thế giới thông qua cả thị giác lẫn ngôn ngữ mở ra nhiều ứng dụng trong các ngành khác nhau:
- Hỏi đáp trực quan (VQA): VLM được sử dụng rộng rãi trong chẩn đoán y tế để hỗ trợ bác sĩ chẩn đoán hình ảnh. Bác sĩ có thể hỏi hệ thống: “Ảnh X-quang này có vết gãy xương không?” và model phân tích ảnh y tế để đưa ra đánh giá sơ bộ, giảm sai sót chẩn đoán.
- Tìm kiếm thương mại điện tử thông minh: Trong môi trường bán lẻ, VLM cho phép người dùng tìm kiếm sản phẩm bằng mô tả ngôn ngữ tự nhiên kết hợp với hình ảnh. Người mua có thể tải ảnh trang phục của một người nổi tiếng lên và hỏi: “Tìm cho tôi chiếc váy có họa tiết này nhưng màu xanh dương”, rồi hệ thống sử dụng tìm kiếm ngữ nghĩa để truy xuất kết quả phù hợp.
- Tạo chú thích tự động và hỗ trợ khả năng tiếp cận: VLM tự động tạo văn bản thay thế mô tả hình ảnh trên web, giúp nội dung số dễ tiếp cận hơn với người khiếm thị sử dụng trình đọc màn hình.
Phân biệt VLM với các khái niệm liên quan#
Để hiểu vai trò cụ thể của VLM, cần phân biệt VLM với các nhóm AI khác:
- VLM và LLM: Mô hình ngôn ngữ lớn (chẳng hạn các phiên bản GPT-4 chỉ xử lý văn bản) chỉ xử lý dữ liệu văn bản. Dù có thể sáng tác truyện hoặc tạo mã, model không thể “nhìn” hình ảnh. VLM về cơ bản giúp LLM có khả năng nhìn.
- VLM và phát hiện đối tượng: Các model phát hiện đối tượng truyền thống, chẳng hạn các phiên bản YOLO đầu tiên, xác định vị trí và lớp của đối tượng (ví dụ: “Ô tô: 99%”). VLM tiến xa hơn khi hiểu các mối quan hệ và thuộc tính, chẳng hạn “một chiếc xe thể thao màu đỏ đỗ cạnh trụ cứu hỏa”.
- VLM và AI đa phương thức: AI đa phương thức là thuật ngữ bao quát hơn. Mặc dù mọi VLM đều là đa phương thức (kết hợp thị giác và ngôn ngữ), không phải model đa phương thức nào cũng là VLM; một số có thể kết hợp âm thanh với văn bản (như chuyển giọng nói thành văn bản) hoặc video với dữ liệu cảm biến mà không có thành phần ngôn ngữ.
Phát hiện từ vựng mở với YOLO#
VLM hiện đại hỗ trợ phát hiện “từ vựng mở”, cho phép phát hiện đối tượng bằng prompt văn bản tự do thay vì các lớp được xác định trước. Đây là tính năng quan trọng của các model như Ultralytics YOLO-World, cho phép định nghĩa lớp linh hoạt mà không cần huấn luyện lại.
Ví dụ sau minh họa cách sử dụng package ultralytics để phát hiện các đối tượng cụ thể được mô tả bằng văn bản:
from ultralytics import YOLOWorld
# Tải model có khả năng hiểu thị giác-ngôn ngữ
model = YOLOWorld("yolov8s-world.pt")
# Định nghĩa các lớp tùy chỉnh bằng prompt văn bản ngôn ngữ tự nhiên
model.set_classes(["person wearing sunglasses", "red backpack"])
# Chạy suy luận để tìm các đối tượng được định nghĩa bằng văn bản này trong hình ảnh
results = model.predict("https://ultralytics.com/images/bus.jpg")
# Hiển thị kết quả phát hiện
results[0].show()Thách thức và định hướng tương lai#
Dù mạnh mẽ, Vision Language Model vẫn đối mặt với những thách thức đáng kể. Một vấn đề lớn là ảo giác, khi model tự tin mô tả các đối tượng hoặc văn bản không hề có trong hình ảnh. Các nhà nghiên cứu đang tích cực phát triển những kỹ thuật như Học tăng cường từ phản hồi của con người (RLHF) để cải thiện khả năng grounding và độ chính xác.
Một thách thức khác là chi phí tính toán. Việc huấn luyện các model khổng lồ này đòi hỏi tài nguyên GPU đáng kể. Tuy nhiên, sự ra mắt của các kiến trúc hiệu quả như Ultralytics YOLO26 đang giúp đưa năng lực thị giác tiên tiến đến các thiết bị edge. Trong tương lai, VLM được kỳ vọng sẽ đóng vai trò quan trọng trong tác tử robot, giúp robot điều hướng và thao tác với đối tượng dựa trên các chỉ dẫn bằng lời phức tạp.
Đối với những người quan tâm đến nền tảng lý thuyết, bài báo CLIP gốc của OpenAI cung cấp thông tin chuyên sâu hữu ích về tiền huấn luyện tương phản ngôn ngữ-hình ảnh. Ngoài ra, việc theo dõi các bài báo tại hội nghị CVPR là điều cần thiết để cập nhật tốc độ phát triển nhanh chóng của các kiến trúc này. Để thử nghiệm huấn luyện model thị giác của riêng bạn, hãy sử dụng Ultralytics Platform nhằm đơn giản hóa việc quản lý tập dữ liệu và triển khai model.
