Grounding

Grounding là quá trình liên kết từ ngữ hoặc các ký hiệu khác với sự vật mà chúng biểu thị, để ngôn ngữ của một hệ thống AI gắn với bằng chứng mà hệ thống có thể chỉ ra. Trong thị giác máy tính, grounding thị giác là xác định vùng trong ảnh hoặc video được một cụm từ mô tả: với câu “người đàn ông mặc áo khoác màu nâu vàng”, model đã grounding sẽ trả về bbox hoặc mask bao quanh người đàn ông đó. Trong model ngôn ngữ lớn (LLM), grounding là liên kết văn bản được tạo ra với tài liệu truy xuất, kết quả tìm kiếm hoặc đầu ra của công cụ, để có thể truy nguyên các khẳng định về nguồn. Cả hai cách hiểu đều gợi lại bài toán grounding ký hiệu mà nhà khoa học nhận thức Stevan Harnad nêu ra năm 1990: làm thế nào các ký hiệu được hệ thống xử lý có thể mang ý nghĩa đối với chính hệ thống đó, thay vì chỉ có ý nghĩa với người đọc.

Các tác vụ grounding thị giác#

• Grounding cụm từ: Định vị mọi vật thể được nhắc đến trong một câu, chẳng hạn cả “một người phụ nữ” và “con chó của cô ấy” trong chú thích ảnh.
• Hiểu biểu thức tham chiếu: Tìm vật thể duy nhất được một biểu thức chỉ định, chẳng hạn “chiếc xe thứ hai từ bên trái”. Các benchmark RefCOCO, RefCOCO+ và RefCOCOg thu thập những biểu thức như vậy cho ảnh COCO; RefCOCO+ cấm các từ chỉ vị trí như “trái”, buộc biểu thức phải mô tả ngoại hình.
• Phát hiện open-vocabulary: Tìm mọi instance thuộc các danh mục được nêu bằng văn bản tại thời điểm suy luận, vượt ra ngoài danh sách lớp cố định của model phát hiện vật thể closed-set.
• Tạo chú thích và câu trả lời có grounding: Model thị giác-ngôn ngữ (VLM) viết mô tả hoặc câu trả lời và gắn bbox cho từng vật thể được nhắc đến.
• Grounding theo thời gian và 3D: Tìm thời điểm trong video được mô tả bằng một câu hoặc vật thể trong bản quét 3D của căn phòng.

Cách các model grounding hoạt động#

Model grounding mã hóa văn bản và hình ảnh, chấm điểm mọi vùng ảnh ứng viên theo từng cụm từ, rồi giữ lại các vùng có điểm vượt ngưỡng. Quá trình huấn luyện căn chỉnh hai không gian embedding, thường bằng học tương phản trên các cặp ảnh-văn bản, để embedding của “ba lô màu xanh” nằm gần feature của những chiếc ba lô màu xanh. Các model mạnh hơn còn hợp nhất sớm các modality bằng cross-attention, cho phép từ ngữ định hướng những feature thị giác mà mạng tính toán.

GLIP định hình lại bản thân tác vụ phát hiện đối tượng thành grounding cụm từ, nhờ đó dữ liệu detection và grounding có thể huấn luyện cùng một model; Grounding DINO, được Ultralytics Platform lưu trữ để tự động gán nhãn, nhận tên danh mục hoặc biểu thức quy chiếu và đạt 52.5 AP trên COCO mà không dùng dữ liệu huấn luyện COCO. SAM 3 của Meta, phát hành vào tháng 11 năm 2025 và được lưu trữ trên Platform dưới tên SAM 3 Text, phân đoạn và theo dõi mọi instance của cụm danh từ ngắn như “xe buýt trường học màu vàng” trên ảnh và video. VLM tạo sinh grounding bằng cách viết tọa độ hộp dưới dạng văn bản hoặc token vị trí đặc biệt bên cạnh câu trả lời. Bảng xếp hạng VLM so sánh độ chính xác grounding tên lớp của dataset detection thực tế giữa bộ phát hiện open-vocabulary và VLM tạo sinh.

YOLOE, do các nhà nghiên cứu Đại học Thanh Hoa giới thiệu và có trong gói Ultralytics dưới dạng YOLOE-26 với kiến trúc YOLO26, grounding tên danh mục và cụm từ ngắn theo thời gian thực: bộ mã hóa văn bản chuyển mỗi cụm từ thành embedding, còn đầu phát hiện đối chiếu embedding đó với mọi vùng ảnh:

from ultralytics import YOLOE

# Tải model phát hiện và phân đoạn YOLOE-26 open-vocabulary
model = YOLOE("yoloe-26s-seg.pt")

# Bộ mã hóa văn bản nhúng mỗi cụm từ một lần để biến cụm từ thành lớp mà model có thể tìm
model.set_classes(["bus", "person", "sunglasses", "traffic sign"])
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# In từng cụm từ đã grounding cùng bbox pixel của cụm từ đó (x1, y1, x2, y2)
for cls, box in zip(result.boxes.cls.tolist(), result.boxes.xyxy.tolist()):
    print(result.names[int(cls)], [round(v) for v in box])

Mỗi dòng được in ghép một cụm từ với vùng mà YOLOE grounding cho cụm từ đó; cụm từ không có kết quả khớp trong ảnh sẽ không được in ra.

Ứng dụng#

• Robot học: Robot được yêu cầu “nhặt chiếc cốc đỏ bên cạnh máy tính xách tay” phải grounding cụm từ đó với một vật thể và vị trí 3D của vật thể trước khi lập kế hoạch gắp.
• Gán nhãn dữ liệu: Bộ phát hiện từ vựng mở tạo bản nháp bounding box và mask cho class mới từ danh sách tên, để người gán nhãn chỉnh sửa thay vì vẽ từ đầu. Ultralytics Platform tự động gán nhãn dataset detection theo cách này trước khi model YOLO26 huấn luyện trên các nhãn đã chỉnh sửa.
• Tìm kiếm video: Grounding theo thời gian truy xuất đoạn phim có nội dung “một người đi xe đạp rẽ trái ở ngã tư” từ hàng giờ video.
• Khả năng tiếp cận: Ứng dụng hỗ trợ trả lời câu hỏi “biển chỉ lối ra ở đâu?” bằng cách định vị vật thể, không chỉ gọi tên vật thể đó.

Grounding và các thuật ngữ liên quan#

• Chú thích ảnh: Chuyển ảnh thành văn bản. Grounding hoạt động theo chiều ngược lại, từ văn bản đến các vùng ảnh mà văn bản mô tả.
• Hỏi đáp trực quan (VQA): Trả lời bằng lời một câu hỏi về hình ảnh. VQA có grounding còn chỉ ra bằng chứng cho câu trả lời.
• Học zero-shot: Nhận diện các lớp không có ví dụ huấn luyện. Grounding với bộ từ vựng mở là một cách thực hiện điều này, vì một lớp được mô tả bằng lời không cần ảnh được gán nhãn.
• AI đa phương thức: Lĩnh vực rộng hơn gồm các model kết hợp nhiều loại dữ liệu; grounding là sự căn chỉnh các từ cụ thể với những phần cụ thể của phương thức khác.

Grounding trong mô hình ngôn ngữ#

Một LLM chỉ trả lời dựa trên bộ nhớ có thể tạo ra những khẳng định trôi chảy nhưng không có nguồn, đây là một nguyên nhân gây ảo giác. Sinh có grounding cung cấp bằng chứng tại thời điểm suy luận thông qua sinh tăng cường truy xuất (RAG), tìm kiếm web, truy vấn cơ sở dữ liệu hoặc gọi công cụ, đồng thời yêu cầu model trả lời dựa trên bằng chứng đó và trích dẫn nguồn. Có thể kiểm tra từng khẳng định trong câu trả lời có grounding bằng cách đối chiếu với nguồn, còn các phép đánh giá hệ thống có grounding đo lường riêng tính trung thực — liệu từng phát biểu có được văn bản truy xuất hỗ trợ hay không — với độ chính xác của chính văn bản được truy xuất.