Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Vision Language Model (VLM)

Model thị giác-ngôn ngữ (VLM) xử lý đồng thời hình ảnh và văn bản để tạo chú thích, trả lời câu hỏi và tìm đối tượng theo tên. Bài viết trình bày kiến trúc và ví dụ.

Mô hình thị giác-ngôn ngữ (VLM) là một mạng nơ-ron xử lý hình ảnh, thường cả video, cùng với văn bản. Tùy theo thiết kế, model có thể chấm điểm mức độ tương đồng giữa ảnh và chú thích, viết văn bản về ảnh hoặc tìm các đối tượng được nêu trong prompt văn bản. VLM trả lời câu hỏi như “Có bao nhiêu người đang chờ ở bến xe buýt?”, chuyển biểu đồ và hóa đơn thành dữ liệu có cấu trúc, cũng như xác định vị trí đối tượng được mô tả bằng ngôn từ tự do. VLM kết hợp khả năng nhận thức trực quan của các model thị giác máy tính, vốn dự đoán từ danh sách lớp cố định, với ngôn ngữ mở của mô hình ngôn ngữ lớn (LLM).

Cách Vision Language Model hoạt động#

Mọi VLM đều cần encoder thị giác, thường là Vision Transformer (ViT), để chuyển ảnh thành embedding, cùng một phương thức liên hệ các embedding này với văn bản. Có ba thiết kế phổ biến:

  • Encoder kép: CLIP và SigLIP mã hóa riêng ảnh và văn bản vào cùng một không gian embedding, được training bằng học tương phản trên hàng trăm triệu đến hàng tỷ cặp ảnh-chú thích. Chúng đo độ tương đồng thay vì tạo văn bản, nên là công cụ tiêu chuẩn cho phân loại zero-shot và tìm kiếm ảnh.
  • VLM tạo sinh: Encoder thị giác pretrained, thường lấy từ CLIP hoặc SigLIP, đưa dữ liệu đến một projector chuyển embedding patch thành “token thị giác” trong không gian đầu vào của LLM. LLM đọc các token này cùng prompt văn bản rồi viết câu trả lời. LLaVA-1.5 hoạt động theo cách này: encoder CLIP ViT-L/14 chia ảnh 336×336 thành lưới patch 24×24, tạo ra 576 token thị giác. Flamingo của DeepMind dùng cách khác, chèn các lớp cross-attention vào LLM đóng băng để token văn bản có thể attention đến đặc trưng ảnh.
  • Bộ phát hiện open-vocabulary: Các model như Grounding DINO, YOLO-World và YOLOE so sánh vùng ảnh với embedding văn bản để trả về bounding box hoặc mask cho mọi đối tượng được gọi tên; tác vụ này được gọi là grounding. Một số VLM tạo sinh cũng grounding đối tượng, bằng cách viết tọa độ bounding box thành văn bản hoặc token vị trí đặc biệt.

Trong thiết kế tạo sinh, LLM viết câu trả lời từng token một, attention đến các token thị giác và prompt ở mỗi bước:

VLM tạo sinh thường được training theo nhiều giai đoạn. Trước tiên, projector học cách căn chỉnh token thị giác với embedding của LLM trên các cặp ảnh-chú thích, trong khi encoder và LLM được giữ đóng băng. Tiếp đó, instruction tuning trực quan fine-tune model trên các cuộc hội thoại về ảnh; quá trình tuning theo sở thích như RLHF giúp giảm câu trả lời mô tả những thứ không có trong ảnh.

Bộ phát hiện open-vocabulary áp dụng cách so khớp văn bản tương tự cho phát hiện theo thời gian thực. YOLOE, do các nhà nghiên cứu Đại học Thanh Hoa giới thiệu và có trong package Ultralytics dưới tên YOLOE-26 trên kiến trúc YOLO26, chuyển tên lớp thành embedding bằng encoder văn bản MobileCLIP2 của Apple rồi so khớp chúng với các vùng ảnh, trả về bounding box và mask instance cho các lớp mà model chưa từng được training để gán nhãn. Các prompt bên dưới có kính râm, vốn không nằm trong 80 lớp COCO mà model YOLO closed-set phát hiện:

from ultralytics import YOLOE

# Tải model phát hiện và phân đoạn YOLOE-26 open-vocabulary
model = YOLOE("yoloe-26s-seg.pt")

# Đặt tên lớp bằng từ ngữ thông thường; encoder văn bản sẽ chuyển từng lớp thành embedding
model.set_classes(["person", "glasses", "bus"])

# Chỉ phát hiện và phân đoạn các lớp được nêu trong prompt
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
print([result.names[int(c)] for c in result.boxes.cls])
result.save(filename="yoloe_prompts.jpg")

Danh sách được in ra gồm xe buýt, bốn người và kính mắt mà hai người trong số đó đang đeo; thay đổi danh sách từ sẽ thay đổi những gì model phát hiện mà không cần training lại.

Ứng dụng thực tế#

  • Hỏi đáp trực quan: Các công cụ kiểm tra, bán lẻ và hỗ trợ hỏi VLM về ảnh, chẳng hạn kệ hàng đã được chất đầy hay chưa hoặc đèn cảnh báo nào đang sáng trên ảnh bảng điều khiển.
  • Hiểu tài liệu: VLM đọc hóa đơn, biểu mẫu, bảng và biểu đồ trực tiếp từ ảnh trang tài liệu rồi trả về các trường có cấu trúc, thường thay thế một bước OCR riêng biệt.
  • Tạo chú thích ảnh và khả năng tiếp cận: Mô tả được tạo ra cung cấp văn bản thay thế cho trình đọc màn hình và metadata có thể tìm kiếm cho thư viện ảnh.
  • Robot học: Các model thị giác-ngôn ngữ-hành động như RT-2 của Google DeepMind mở rộng VLM để xuất hành động cho robot, nhờ đó robot có thể làm theo hướng dẫn như “nhặt cái lon rỗng lên”.
  • Gán nhãn dữ liệu: Các bộ phát hiện từ vựng mở tạo bản nháp bounding box và mask cho class mới từ prompt văn bản, giúp người gán nhãn có điểm khởi đầu thay vì một ảnh trống. Ultralytics Platform tự động gán nhãn dataset detection bằng các bộ phát hiện như vậy và VLM tạo sinh trước khi model YOLO26 huấn luyện trên các nhãn.
  • LLM: Model chỉ xử lý văn bản. Nhiều VLM tạo sinh là LLM được gắn thêm encoder thị giác; chúng kế thừa khả năng suy luận, kiến thức và xu hướng bịa thông tin của LLM.
  • AI đa phương thức: Nhóm rộng hơn gồm các model kết hợp nhiều loại dữ liệu. Model kết hợp âm thanh với văn bản hoặc radar với ảnh camera là đa phương thức nhưng không phải VLM.
  • Phát hiện đối tượng: Bộ phát hiện tập class cố định chỉ dự đoán các class đã được huấn luyện và không nhận đầu vào văn bản. Khi class được nêu tên tại thời điểm inference, các bộ phát hiện từ vựng mở là những VLM đảm nhiệm tác vụ này. Bảng xếp hạng VLM so sánh độ chính xác khi các bộ phát hiện từ vựng mở và VLM tạo sinh phát hiện đối tượng trong các dataset thực tế.

Hạn chế#

VLM có thể ảo giác: model tạo chú thích có thể nhắc đến chiếc nĩa trên chiếc bàn không hề có nĩa, vì model ngôn ngữ hoàn thiện một câu có vẻ hợp lý. Suy luận không gian chi tiết, đếm nhóm đông và đọc chữ nhỏ cũng là những điểm yếu; mỗi ảnh tiêu tốn hàng trăm hoặc hàng nghìn token trong cửa sổ ngữ cảnh của LLM. Benchmark POPE đo hiện tượng ảo giác đối tượng bằng cách hỏi model những câu như “Trong ảnh có ô tô không?”, rồi chọn ngẫu nhiên đối tượng không có trong ảnh từ các đối tượng phổ biến nhất trong bộ dữ liệu hoặc từ những đối tượng thường xuất hiện cùng các đối tượng có mặt.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning