Visual Reasoning

Suy luận thị giác là khả năng của model AI đưa ra kết luận đòi hỏi nhiều bước suy luận trên thông tin thị giác: đếm các đối tượng thỏa điều kiện, so sánh kích thước hoặc vị trí, theo dõi quan hệ không gian, áp dụng hiểu biết thông thường về vật lý hoặc hoàn thiện một mẫu hình thị giác trừu tượng. Nhận diện một chiếc cốc chỉ cần một bước nhận thức, còn trả lời “Chiếc cốc có nằm bên trái vật thể lớn nhất được làm từ cùng vật liệu với chiếc bàn không?” cần nhiều bước, vì câu trả lời kết hợp thông tin về bốn vật thể. Khả năng này nằm giữa thị giác máy tính, lĩnh vực cung cấp các thông tin đó, và model suy luận, vốn kết nối các suy luận bằng văn bản; đây cũng là năng lực mà các benchmark hỏi đáp trực quan (VQA) đánh giá khi câu hỏi vượt ra ngoài việc gọi tên những gì có trong ảnh.

Các benchmark định hình suy luận thị giác#

Các bài kiểm tra suy luận thị giác có từ trước thời AI. Ma trận tiến triển của John C. Raven (1938) yêu cầu người làm chọn ô hoàn thiện mẫu hình 3×3; các bài toán năm 1967 của Mikhail Bongard hỏi quy tắc nào phân biệt sáu hình ảnh này với sáu hình ảnh khác. Benchmark cho máy đã kế thừa cả hai ý tưởng và bổ sung ngôn ngữ:

• CLEVR: Justin Johnson và cộng sự tại Stanford và Facebook AI Research phát hành bộ dữ liệu chẩn đoán này tại CVPR 2017, gồm 100.000 cảnh dựng bằng các hình khối 3D đơn giản và khoảng một triệu câu hỏi được tạo tự động để kiểm tra khả năng đếm, so sánh, nhận biết quan hệ không gian và logic, đồng thời giảm thiểu các thiên lệch của bộ dữ liệu có thể giúp model đoán đáp án.
• RAVEN: Bộ dữ liệu năm 2019 gồm các ma trận kiểu Raven được tạo theo quy trình để huấn luyện và kiểm tra khả năng hoàn thiện mẫu hình của máy.
• ARC: Bộ Abstraction and Reasoning Corpus năm 2019 của François Chollet, gồm các câu đố dạng lưới mà quy tắc biến đổi phải được suy ra từ một vài ví dụ.
• MathVista: Benchmark năm 2023 gồm các bài toán toán học trình bày qua biểu đồ, đồ thị, sơ đồ hình học và ảnh chụp.
• BLINK: Bộ câu hỏi năm 2024 gồm 14 bài toán thị giác kinh điển, bao gồm độ sâu tương đối và tương ứng thị giác, được chuyển thành câu hỏi trắc nghiệm.

BLINK cho thấy các model đa phương thức lưu loát vẫn còn cách xa khả năng nhận thức của con người: con người đạt trung bình 95,70%, trong khi GPT-4V đạt 51,26% và Gemini đạt 45,72%, chỉ cao hơn mức đoán ngẫu nhiên lần lượt 13,17 và 7,63 điểm; các model thị giác chuyên biệt giải quyết cùng bài toán tốt hơn nhiều.

Các phương pháp suy luận thị giác#

Model thị giác-ngôn ngữ (VLM) đầu-cuối trả lời trực tiếp từ token hình ảnh, còn prompt chuỗi suy nghĩ khiến chúng viết ra các bước trung gian trước khi trả lời. o3 và o4-mini của OpenAI, ra mắt vào tháng 4 năm 2025, mở rộng phương pháp này sang suy nghĩ bằng hình ảnh: trong quá trình suy luận, model có thể cắt, phóng to và xoay ảnh, rồi xem lại kết quả.

Phương pháp neuro-symbolic tách biệt khả năng nhìn nhận và suy luận. Jacob Andreas cùng cộng sự (CVPR 2016) tạo một mạng nhỏ cho mỗi câu hỏi từ các module có thể tái sử dụng như “attend” và “re-attend”. NS-VQA của Kexin Yi cùng cộng sự (NeurIPS 2018) phân tích mỗi cảnh CLEVR thành bảng đối tượng cùng thuộc tính và vị trí, chuyển câu hỏi thành chương trình rồi chạy chương trình trên bảng, đạt độ chính xác 99,8% với câu trả lời có thể truy vết đầy đủ; phương pháp này bắt nguồn từ AI ký hiệu. Lập trình thị giác đưa cùng ý tưởng đó vào ảnh thực: VisProg, đoạt giải bài báo xuất sắc nhất CVPR 2023, và ViperGPT (ICCV 2023) dùng một model ngôn ngữ lớn (LLM) viết chương trình Python gọi model phát hiện đối tượng, model ước lượng độ sâu và các công cụ thị giác khác, rồi thực thi chương trình.

Phát hiện và độ sâu làm đầu vào cho suy luận#

Độ sâu tương đối là một trong các tác vụ của BLINK, đồng thời là dạng câu hỏi mà chương trình thị giác giao cho model chuyên biệt xử lý. YOLO26 cung cấp cả hai đầu vào: model phát hiện đối tượng chuyển ảnh thành các bounding box có tên, còn model độ sâu đơn ảnh trả về bản đồ độ sâu theo từng pixel, tính bằng mét; nhờ vậy, chỉ cần vài dòng logic để trả lời “Có ai ở gần camera hơn chiếc xe buýt không?”:

from ultralytics import YOLO

image = "https://ultralytics.com/images/bus.jpg"
detections = YOLO("yolo26n.pt")(image)[0]
depth = YOLO("yolo26n-depth.pt")(image)[0].depth.data  # (H, W) depth map in meters

# Perception to symbols: one (name, median depth) fact per detected object
boxes = detections.boxes.xyxy.int().tolist()
classes = detections.boxes.cls.int().tolist()
facts = []
for (x1, y1, x2, y2), cls in zip(boxes, classes):
    facts.append((detections.names[cls], depth[y1:y2, x1:x2].median().item()))

# Reasoning over symbols: compare every person's depth with the bus
bus_depth = min(d for name, d in facts if name == "bus")
closer = [round(d, 1) for name, d in facts if name == "person" and d < bus_depth]
print(f"Bus at {bus_depth:.1f} m; people closer to the camera: {closer}")

Có thể truy vết từng câu trả lời về một bounding box và giá trị độ sâu cụ thể, điều mà câu trả lời của model đầu-cuối không thể làm được. Cùng một mẫu thiết kế có thể mở rộng sang các tác vụ robot học và trí tuệ không gian, trong đó robot phải quyết định nên với lấy vật thể nào trước, cũng như sang các quy trình làm việc tác tử kiểm tra cảnh trước khi hành động.

Suy luận thị giác và các thuật ngữ liên quan#

VQA là định dạng tác vụ gồm câu hỏi về ảnh và câu trả lời ngắn; suy luận thị giác là năng lực nhiều bước mà các câu hỏi VQA khó hơn đòi hỏi. AI đa phương thức bao quát mọi model kết hợp nhiều loại dữ liệu, bất kể model có suy luận hay không. Suy luận không gian là nhánh tập trung vào vị trí, khoảng cách và hướng; những câu hỏi đơn giản nhất của nhánh này hoàn toàn không cần model ngôn ngữ: các câu hỏi về độ sâu tương đối của BLINK yêu cầu xác định điểm nào trong hai điểm được đánh dấu gần camera hơn, và bản đồ độ sâu có thể trả lời bằng cách so sánh hai giá trị pixel.