Vision Language Model (VLM)

Vision Language Model (VLM) là một loại trí tuệ nhân tạo có khả năng xử lý và diễn giải đồng thời thông tin thị giác (hình ảnh hoặc video) và thông tin văn bản. Khác với các mô hình computer vision truyền thống chỉ tập trung vào dữ liệu pixel, hoặc Large Language Models (LLMs) chỉ hiểu văn bản, VLM thu hẹp khoảng cách giữa hai phương thức này. Bằng cách huấn luyện trên các tập dữ liệu khổng lồ chứa các cặp hình ảnh-văn bản, các mô hình này học cách liên kết các đặc trưng thị giác với các khái niệm ngôn ngữ, cho phép chúng mô tả hình ảnh, trả lời các câu hỏi về cảnh quan thị giác và thậm chí thực thi các lệnh dựa trên những gì chúng "nhìn thấy".

Link to this sectionCách thức hoạt động của Vision Language Models#

Về cơ bản, VLM thường bao gồm hai thành phần chính: bộ mã hóa thị giác (vision encoder) và bộ mã hóa văn bản (text encoder). Bộ mã hóa thị giác xử lý hình ảnh để trích xuất feature maps và các biểu diễn thị giác, trong khi bộ mã hóa văn bản xử lý đầu vào ngôn ngữ. Các luồng dữ liệu riêng biệt này sau đó được hợp nhất bằng cách sử dụng các cơ chế như cross-attention để căn chỉnh thông tin thị giác và văn bản trong một không gian embedding chung.

Những tiến bộ gần đây trong năm 2024 và 2025 đã chuyển hướng sang các kiến trúc thống nhất hơn, nơi một Transformer backbone duy nhất xử lý cả hai phương thức. Ví dụ, các mô hình như Google PaliGemma 2 chứng minh việc tích hợp hiệu quả các luồng này có thể nâng cao hiệu suất trong các tác vụ suy luận phức tạp như thế nào. Sự căn chỉnh này cho phép mô hình hiểu được ngữ cảnh, chẳng hạn như nhận diện từ "apple" (táo) chỉ một loại trái cây trong hình ảnh cửa hàng tạp hóa nhưng lại là một công ty công nghệ trong một logo.

Link to this sectionCác ứng dụng trong thực tế#

Khả năng hiểu thế giới thông qua cả thị giác và ngôn ngữ mở ra nhiều ứng dụng đa dạng trong các ngành công nghiệp khác nhau:

• Visual Question Answering (VQA): VLM được sử dụng rộng rãi trong chẩn đoán y tế để hỗ trợ các bác sĩ chẩn đoán hình ảnh. Một bác sĩ có thể hỏi hệ thống: "Có vết nứt nào trong phim X-quang này không?" và model sẽ phân tích hình ảnh y tế để đưa ra đánh giá sơ bộ, giúp giảm thiểu sai sót trong chẩn đoán.
• Tìm kiếm thương mại điện tử thông minh: Trong môi trường bán lẻ, VLM cho phép người dùng tìm kiếm sản phẩm bằng cách kết hợp mô tả ngôn ngữ tự nhiên với hình ảnh. Người mua hàng có thể tải lên ảnh trang phục của người nổi tiếng và hỏi: "Tìm cho tôi chiếc váy có họa tiết này nhưng màu xanh dương," và hệ thống sẽ sử dụng tìm kiếm ngữ nghĩa để truy xuất các kết quả khớp chính xác.
• Chú thích tự động và khả năng truy cập: VLM tự động tạo alt text mô tả cho hình ảnh trên web, giúp nội dung kỹ thuật số dễ tiếp cận hơn đối với người dùng khiếm thị vốn dựa vào trình đọc màn hình.

Link to this sectionPhân biệt VLM với các khái niệm liên quan#

Việc phân biệt VLM với các danh mục AI khác sẽ giúp ích trong việc hiểu rõ vai trò cụ thể của chúng:

• VLM so với LLM: Một Large Language Model (như các phiên bản chỉ dùng văn bản của GPT-4) chỉ xử lý dữ liệu văn bản. Mặc dù nó có thể tạo ra các câu chuyện sáng tạo hoặc mã nguồn, nó không thể "nhìn thấy" một hình ảnh. VLM thực sự cung cấp đôi mắt cho một LLM.
• VLM so với Object Detection: Các mô hình object detection truyền thống, chẳng hạn như các phiên bản YOLO đời đầu, xác định các đối tượng đang ở đâu và thuộc lớp nào (ví dụ: "Xe hơi: 99%"). VLM tiến xa hơn bằng cách hiểu các mối quan hệ và thuộc tính, chẳng hạn như "một chiếc xe thể thao màu đỏ đỗ cạnh một trụ cứu hỏa."
• VLM so với Multimodal AI: Multimodal AI là một thuật ngữ bao quát rộng hơn. Mặc dù tất cả VLM đều là đa phương thức (kết hợp thị giác và ngôn ngữ), không phải tất cả các mô hình đa phương thức đều là VLM; một số có thể kết hợp âm thanh và văn bản (như chuyển giọng nói thành văn bản) hoặc video và dữ liệu cảm biến mà không có thành phần ngôn ngữ.

Link to this sectionPhát hiện từ vựng mở (Open-Vocabulary Detection) với YOLO#

Các VLM hiện đại cho phép phát hiện "từ vựng mở", nơi bạn có thể phát hiện các đối tượng bằng cách sử dụng các gợi ý văn bản tự do thay vì các lớp được định nghĩa trước. Đây là một tính năng chính của các mô hình như Ultralytics YOLO-World, cho phép định nghĩa lớp linh hoạt mà không cần huấn luyện lại.

Ví dụ sau đây minh họa cách sử dụng gói ultralytics để phát hiện các đối tượng cụ thể được mô tả bằng văn bản:

from ultralytics import YOLOWorld

# Load a model capable of vision-language understanding
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference to find these text-defined objects in an image
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the detection results
results[0].show()

Link to this sectionThách thức và các hướng phát triển trong tương lai#

Mặc dù rất mạnh mẽ, Vision Language Models vẫn đối mặt với những thách thức đáng kể. Một vấn đề lớn là hallucination, nơi mô hình tự tin mô tả các đối tượng hoặc văn bản trong hình ảnh mà thực tế không tồn tại. Các nhà nghiên cứu đang tích cực phát triển các kỹ thuật như Reinforcement Learning from Human Feedback (RLHF) để cải thiện khả năng căn chỉnh thực tế và độ chính xác.

Một thách thức khác là chi phí tính toán. Việc huấn luyện các model khổng lồ này đòi hỏi nguồn tài nguyên GPU đáng kể. Tuy nhiên, sự ra mắt của các kiến trúc hiệu quả như Ultralytics YOLO26 đang giúp mang lại các khả năng thị giác nâng cao cho các thiết bị biên. Trong tương lai, chúng tôi kỳ vọng VLM sẽ đóng vai trò quan trọng trong các tác nhân robot, cho phép robot định vị và thao tác với các vật thể dựa trên những hướng dẫn bằng lời nói phức tạp.

Đối với những ai quan tâm đến nền tảng lý thuyết, bài báo CLIP gốc của OpenAI cung cấp cái nhìn sâu sắc tuyệt vời về tiền huấn luyện hình ảnh-ngôn ngữ tương phản. Ngoài ra, việc cập nhật các bài báo hội nghị CVPR là rất cần thiết để theo dõi sự phát triển nhanh chóng của các kiến trúc này. Để thử nghiệm huấn luyện các mô hình thị giác của riêng bạn, bạn có thể sử dụng Ultralytics Platform để quản lý tập dữ liệu và triển khai mô hình một cách tối ưu.