Concept Bottleneck Models

Mô hình nút thắt khái niệm (CBMs) là các mạng neural đưa ra dự đoán thông qua một lớp trung gian gồm các khái niệm mà con người có thể hiểu được. Thay vì ánh xạ trực tiếp đầu vào đến nhãn cuối cùng, CBM trước tiên dự đoán các thuộc tính có ý nghĩa—chẳng hạn như “cánh màu đỏ”, “vết nứt bề mặt” hoặc “hẹp khe khớp”—sau đó chỉ sử dụng các thuộc tính này để đưa ra quyết định. Cấu trúc này giúp model dễ kiểm tra, debug và hiệu chỉnh hơn so với model dạng hộp đen truyền thống.

Cách Mô hình Nút thắt Khái niệm Hoạt động#

Một mạng neural tiêu chuẩn thường biểu diễn thông tin trong một không gian tiềm ẩn khó quan sát. CBM thay thế một phần của biểu diễn ẩn đó bằng một vector khái niệm, trong đó các chiều có ý nghĩa được xác định rõ.

Pipeline dự đoán của model gồm hai giai đoạn chính:

1. Một bộ dự đoán khái niệm ánh xạ đầu vào thô, chẳng hạn như hình ảnh, thành các giá trị khái niệm.
2. Một bộ dự đoán mục tiêu ánh xạ các giá trị khái niệm đó thành lớp hoặc điểm số cuối cùng.

Ví dụ, một bộ phân loại chim có thể dự đoán “mỏ đen”, “ngực trắng” và “đuôi dài” trước khi xác định loài. Các khái niệm có thể là nhị phân, phân loại hoặc liên tục. Chúng thường được học thông qua học có giám sát, yêu cầu mỗi mẫu huấn luyện phải bao gồm cả nhãn mục tiêu và chú thích khái niệm.

Hai giai đoạn có thể được huấn luyện độc lập, tuần tự hoặc đồng thời. Huấn luyện độc lập làm rõ sự phân tách, trong khi huấn luyện đồng thời có thể cân bằng chất lượng khái niệm với hiệu năng của tác vụ cuối. Trong mọi trường hợp, nút thắt phải giới hạn bộ dự đoán mục tiêu chỉ ở các khái niệm đã khai báo; nếu không, thông tin ẩn có thể vượt qua cơ chế giải thích dự kiến.

Vì sao Khả năng Diễn giải và Can thiệp lại Quan trọng#

CBM là một dạng AI có thể giải thích nội tại: cấu trúc có thể diễn giải được tích hợp ngay trong quá trình dự đoán thay vì được bổ sung sau đó. Điều này khác với các công cụ hậu kiểm như bản đồ độ nổi bật, vốn ước tính yếu tố đã ảnh hưởng đến một hộp đen được huấn luyện sẵn.

Lớp khái niệm hỗ trợ một số hình thức tương tác hữu ích:

• Người dùng có thể kiểm tra những khái niệm nào đã gây ra một quyết định.
• Chuyên gia lĩnh vực có thể sửa một khái niệm không chính xác và tính toán lại đầu ra.
• Developer có thể kiểm tra liệu bộ dự đoán mục tiêu có tuân theo logic hợp lệ của lĩnh vực hay không.
• Các team có thể đo độ chính xác của khái niệm riêng biệt với độ chính xác của tác vụ cuối.

Các khả năng này phù hợp với hướng dẫn của NIST về AI có thể giải thích và các cơ chế kiểm soát lấy con người làm trung tâm được thảo luận trong People + AI Guidebook. Tuy nhiên, một lời giải thích dễ hiểu không mặc nhiên là đúng. Cần đánh giá độ trung thực của khái niệm thay vì mặc định chấp nhận.

Các ứng dụng trong thực tế#

• Phân tích Hình ảnh Y khoa: Một model kiểm tra ảnh X-quang có thể ước tính các khái niệm như gai xương, hẹp khe khớp và xơ cứng trước khi phân loại mức độ nghiêm trọng của bệnh. Bác sĩ có thể xem xét hoặc sửa các phát hiện trung gian này thay vì chỉ nhận một điểm số mức độ nghiêm trọng. Tương tác giữa con người và model này đặc biệt phù hợp với các nguyên tắc minh bạch của FDA đối với thiết bị y tế sử dụng machine learning.

• Kiểm tra Trực quan trong Sản xuất: Một hệ thống thị giác có thể xác định các khái niệm như thiếu linh kiện, vết nứt, đổi màu hoặc căn chỉnh sai, sau đó sử dụng chúng để quyết định sản phẩm đạt kiểm tra hay cần một hình thức sửa chữa cụ thể. Phát hiện đối tượng có thể định vị linh kiện và lỗi, trong khi bộ phân loại dựa trên khái niệm ở downstream cung cấp quyết định chất lượng có thể kiểm toán.

Hạn chế và các Khái niệm Liên quan#

Nhãn khái niệm tạo thêm chi phí chú thích dữ liệu và có thể yêu cầu kiến thức chuyên môn. Các khái niệm được định nghĩa kém có thể mang tính chủ quan, tương quan với nhau, không đầy đủ hoặc khó nhận biết từ đầu vào. Các team nên xây dựng quy tắc gán nhãn chính xác và kiểm tra sự bất đồng giữa những người gán nhãn.

Các rủi ro quan trọng khác bao gồm lỗi dự đoán khái niệm, điểm số chưa được hiệu chuẩn và rò rỉ khái niệm, trong đó các giá trị khái niệm liên tục mã hóa thông tin ngoài dự kiến vượt quá ý nghĩa đã nêu. Hướng dẫn về hiệu chuẩn xác suất có thể giúp xác định liệu các giá trị độ tin cậy của khái niệm có đáng tin cậy hay không.

CBM cũng khác với feature engineering: các feature được engineering là những đầu vào được tính toán thủ công, trong khi các khái niệm thường được dự đoán từ dữ liệu thô và được giám sát rõ ràng. CBM không giống nguyên lý nút thắt thông tin, vốn nén các biểu diễn mà không yêu cầu mỗi chiều phải có thể đọc hiểu được đối với con người.

Hiệu năng của khái niệm nên được kiểm tra trên các lát cắt dữ liệu phù hợp vì chú thích thiên lệch hoặc các khái niệm bị thiếu có thể tạo ra lỗi không đồng đều. Hướng dẫn của Google về xác định thiên lệch trong ML và NIST AI RMF Core cung cấp các phương pháp hữu ích cho việc đánh giá và quản trị.

Xây dựng Pipeline Thị giác Thực tiễn#

Một model Ultralytics YOLO26 có thể đóng vai trò là bộ trích xuất khái niệm trực quan ở upstream. Workflow Predict mode sau đây thu thập các lớp đối tượng được phát hiện làm tín hiệu khái niệm tiềm năng:

from ultralytics import YOLO

# Load a pretrained visual concept extractor
model = YOLO("yolo26n.pt")

# Run inference and select the first result
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into human-readable concept candidates
concepts = {result.names[int(class_id)] for class_id in result.boxes.cls}
print(sorted(concepts))

result.save(filename="concept_candidates.jpg")

Đây chưa phải là một CBM hoàn chỉnh: vẫn cần huấn luyện một model downstream để dự đoán mục tiêu cuối chỉ từ các khái niệm đã chọn. Các team có thể sử dụng Ultralytics Platform để chú thích dữ liệu trực quan, huấn luyện bộ trích xuất khái niệm, so sánh các thử nghiệm và giám sát các thành phần đã triển khai. Hãy đánh giá riêng độ chính xác của khái niệm, độ chính xác của mục tiêu, hiệu chuẩn, hành vi can thiệp và các nhóm con quan trọng bằng cách sử dụng workflow đánh giá model có cấu trúc.