Scene Graph

Đồ thị cảnh là biểu diễn có cấu trúc của một cảnh trực quan, trong đó các nút đại diện cho đối tượng, thuộc tính mô tả đặc điểm của đối tượng và các cạnh có nhãn mô tả mối quan hệ giữa chúng. Đồ thị cảnh chuyển đổi hình ảnh thành các dữ kiện liên kết với nhau: những đối tượng nào xuất hiện, đặc điểm của chúng ra sao và chúng tương tác như thế nào. Trong thị giác máy tính, cấu trúc này hỗ trợ suy luận về cảnh, vượt ra ngoài việc nhận diện từng đối tượng riêng lẻ.

Justin Johnson, Ranjay Krishna và các cộng sự đã giới thiệu cách xây dựng hiện đại dựa trên hình ảnh trong công trình năm 2015 về truy xuất hình ảnh bằng đồ thị cảnh. Biểu diễn của họ bao gồm các đối tượng như một người đàn ông và một chiếc thuyền, thuộc tính màu trắng của chiếc thuyền và mối quan hệ "người đàn ông đứng trên thuyền", cho phép tìm kiếm theo cả mối quan hệ lẫn danh mục đối tượng.

Đối tượng, thuộc tính và mối quan hệ#

Mỗi nút xác định một instance đối tượng. Hai con ngựa trong cùng một hình ảnh có danh tính riêng biệt, dù nhãn danh mục của chúng giống nhau. Bounding box xác định vị trí của từng instance, cung cấp khả năng định vị: kết nối một đối tượng dạng ký hiệu với vùng tương ứng trong hình ảnh. Thuộc tính gắn các đặc điểm như màu sắc hoặc chất liệu với instance đó. Mối quan hệ kết nối hai instance thông qua một vị từ, tức nhãn mô tả kết nối giữa chúng. Bộ ba chủ thể–vị từ–đối tượng tạo thành một dữ kiện quan hệ.

Bộ dữ liệu Visual Genome, do Ranjay Krishna và các cộng sự phát triển, chứa 108.077 hình ảnh cùng chú giải thị giác có cấu trúc. Đồ thị cảnh là dạng đồ thị tri thức dành riêng cho từng hình ảnh. Các mối quan hệ ngữ nghĩa cho phép có nhiều kết nối giữa các đối tượng và các thành phần không liên thông, vì vậy đồ thị cảnh của một hình ảnh không bắt buộc phải có nút gốc.

Ví dụ về đồ thị cảnh trong trình điều khiển Python của Visual Genome bao gồm "ngựa đang đeo dây cương" và "cửa sổ ở cạnh cửa ra vào". Có thể biểu diễn các chú giải này bằng đồ thị có hướng sử dụng NetworkX, được cài đặt bằng pip install networkx:

import networkx as nx

graph = nx.MultiDiGraph()
graph.add_node("horse", label="horse")
graph.add_node("bridle", label="bridle")
graph.add_node("window", label="window")
graph.add_node("door", label="door")

graph.add_edge("horse", "bridle", predicate="is wearing")
graph.add_edge("window", "door", predicate="is next to")

for subject, obj, relation in graph.edges(data=True):
    print(f"{subject} -> {relation['predicate']} -> {obj}")

Đầu ra cung cấp hai dữ kiện quan hệ có thể truy vấn, mỗi vị từ được gắn với cạnh có hướng tương ứng.

Cách tạo đồ thị cảnh hoạt động#

Tạo đồ thị cảnh, viết tắt là SGG, dự đoán biểu diễn này từ đầu vào thị giác. Một pipeline điển hình kết hợp phát hiện đối tượng, trích xuất đặc trưng và phân loại mối quan hệ. Đặc trưng đối tượng mô tả từng vùng riêng lẻ; đặc trưng theo cặp mô tả các tương tác tiềm năng. Các mô hình ngữ cảnh như MotifNet sử dụng những đối tượng xung quanh để hỗ trợ dự đoán mối quan hệ. Mạng nơ-ron đồ thị cũng có thể trao đổi thông tin giữa các đối tượng được kết nối, tạo ra embedding mã hóa ngữ cảnh quan hệ.

Ultralytics YOLO YOLO26 cung cấp các instance đối tượng cho pipeline này thông qua đầu ra phát hiện: bounding box, nhãn lớp và điểm tin cậy. Model quan hệ ở bước sau sử dụng các instance đó để dự đoán những cạnh như "đang đeo" hoặc "đang đứng trên".

Ứng dụng trong suy luận thị giác và robot học#

Các mối quan hệ tường minh hỗ trợ những tác vụ đòi hỏi hiểu cách các đối tượng liên kết với nhau:

• Hỏi đáp thị giác: GQA sử dụng đồ thị cảnh được xây dựng từ Visual Genome để tạo câu hỏi và chương trình suy luận chức năng. Việc duyệt qua các mối quan hệ giữa đối tượng hỗ trợ suy luận thị giác, bao gồm xác định đối tượng thông qua thuộc tính và kết nối của chúng.
• Robot học: Kimera xây dựng đồ thị cảnh động 3D từ đầu vào thị giác-quán tính. Biểu diễn phân lớp của Kimera kết nối đối tượng, con người, phòng và tòa nhà, hỗ trợ lập bản đồ ngữ nghĩa và lập kế hoạch đường đi phân cấp. Tọa độ không gian và thời gian mở rộng biểu diễn vượt ra ngoài phạm vi một hình ảnh đơn lẻ.
• Tạo ảnh: Hệ thống tạo ảnh từ đồ thị cảnh của Justin Johnson, Agrim Gupta và Li Fei-Fei chuyển đổi đồ thị thành bố cục đối tượng, dự đoán bounding box và mask phân đoạn, rồi tạo ảnh từ bố cục đó. Đồ thị xác định cả nội dung lẫn mối quan hệ trong cảnh.

Đánh giá và lỗi quan hệ#

Đánh giá đồ thị cảnh thường chia thành ba tác vụ. Phân loại vị từ cung cấp bounding box và nhãn đối tượng, sau đó đánh giá các mối quan hệ được dự đoán. Phân loại đồ thị cảnh cung cấp bounding box và yêu cầu dự đoán nhãn đối tượng lẫn nhãn quan hệ. Phát hiện đồ thị cảnh yêu cầu tạo toàn bộ đồ thị từ hình ảnh. Cách phân chia này giúp xác định lỗi bắt nguồn từ định vị, nhận dạng đối tượng hay dự đoán quan hệ.

Tần suất quan hệ tạo ra độ lệch dữ liệu: các vị từ phổ biến chi phối dự đoán, trong khi những mối quan hệ hiếm nhưng giàu thông tin bị bỏ sót. Recall@K đo tỷ lệ các mối quan hệ được chú giải được tìm thấy trong K dự đoán có thứ hạng cao nhất. Mean Recall@K tính recall riêng cho từng danh mục vị từ rồi lấy trung bình các giá trị đó, nhờ vậy vị từ hiếm có trọng số ở cấp danh mục ngang với vị từ phổ biến.