Mechanistic Interpretability

Mechanistic Interpretability là một lĩnh vực nghiên cứu chuyên sâu trong machine learning, tập trung vào kỹ thuật đảo ngược các hoạt động nội tại của các mạng thần kinh đã qua đào tạo. Thay vì coi một model như một hộp đen, phương pháp này tìm cách hiểu rõ các mạch toán học chính xác, các neuron cụ thể và các đường dẫn kết nối khiến một model tạo ra kết quả đầu ra nhất định. Bằng cách ánh xạ các cấu trúc nội tại này thành các khái niệm mà con người có thể hiểu được, các nhà phát triển có thể giải mã cách các hệ thống artificial intelligence xử lý thông tin theo từng lớp.

Link to this sectionMechanistic Interpretability so với Explainable AI (XAI)#

Việc nhầm lẫn Mechanistic Interpretability với Explainable AI (XAI) nói chung là điều thường thấy. Trong khi XAI là một thuật ngữ rộng hơn, bao gồm các công cụ như bản đồ nhiệt (heatmaps) hoặc bản đồ nổi bật (saliency maps) giúp làm nổi bật nơi model đang tập trung, Mechanistic Interpretability lại hướng tới việc trả lời câu hỏi như thế nào và tại sao model lại tính toán ra kết quả đó. Ví dụ, trong khi XAI có thể cho thấy một model object detection tập trung vào kết cấu lông để nhận diện một con chó, thì Mechanistic Interpretability đặt mục tiêu định vị các neuron "phát hiện lông" cụ thể và truy vết các kết nối thuật toán của chúng dẫn đến dự đoán cuối cùng.

Link to this sectionCác ứng dụng trong thực tế#

Hiểu rõ logic nội tại chính xác của các neural networks là rất quan trọng để triển khai các hệ thống AI có rủi ro cao. Dưới đây là hai ứng dụng cụ thể:

• Kiểm định an toàn và sự căn chỉnh (Alignment) của AI: Các tổ chức như Anthropic và OpenAI sử dụng Mechanistic Interpretability để kiểm tra các large language models (LLMs) nhằm phát hiện các thiên kiến ẩn, hành vi lừa đảo hoặc sự thiếu căn chỉnh với các giá trị nhân văn. Bằng cách trích xuất các tính năng mà con người có thể đọc được thông qua các kỹ thuật như sparse autoencoders, các nhà nghiên cứu có thể chỉnh sửa hoặc vô hiệu hóa các đường dẫn độc hại trước khi triển khai để đảm bảo tính an toàn cho AI safety.
• Gỡ lỗi chẩn đoán y tế: Trong các lĩnh vực quan trọng như chăm sóc sức khỏe, Mechanistic Interpretability hỗ trợ các nhà nghiên cứu xác minh rằng các thuật toán thị giác máy tính đang dựa vào các dấu ấn sinh học thực sự thay vì các nhiễu ảnh (như hình mờ của bệnh viện hoặc thước kẻ trong ảnh) khi dự đoán bệnh tật. Việc xác thực chi tiết này là cần thiết để đảm bảo tính tuân thủ và độ tin cậy trong AI y tế.

Link to this sectionTrích xuất tính năng để phục vụ khả năng diễn giải#

Khi làm việc với các kiến trúc computer vision, bước đầu tiên phổ biến trong Mechanistic Interpretability là trích xuất các kích hoạt trung gian (intermediate activations). Bằng cách sử dụng các công cụ như PyTorch forward hooks, các nhà phát triển có thể quan sát bên trong một mạng thần kinh trong quá trình lan truyền xuôi (forward pass).

Đoạn mã dưới đây minh họa cách gắn một hook vào lớp tích chập (convolutional layer) đầu tiên của một model Ultralytics YOLO26 để kiểm tra kích thước của các bản đồ tính năng (feature maps) nội tại được tạo ra trong quá trình inference.

from ultralytics import YOLO

# Load the Ultralytics YOLO26 nano model
model = YOLO("yolo26n.pt")


# Define a hook function to capture and inspect intermediate layer activations
def hook_fn(module, input, output):
    print(f"Analyzed Layer: {module.__class__.__name__} | Activation Shape: {output.shape}")


# Attach the hook to the first layer of the model architecture
handle = model.model.model[0].register_forward_hook(hook_fn)

# Run a quick inference to trigger the hook and print the mechanistic features
results = model("https://ultralytics.com/images/bus.jpg")
handle.remove()

Bằng cách phân tích các kích hoạt này, các kỹ sư ML có thể thực hiện feature visualization và bắt đầu lập bản đồ hành vi của mạng. Để quản lý các tập dữ liệu quy mô lớn cần thiết cho việc đào tạo các hệ thống dễ diễn giải này, các công cụ như Ultralytics Platform cung cấp các pipeline toàn diện giúp đơn giản hóa quá trình đào tạo model, ghi nhật ký và giám sát liên tục. Khi nhu cầu về transparency in AI ngày càng tăng, Mechanistic Interpretability sẽ vẫn là một nền tảng cơ bản để xây dựng các model đáng tin cậy.