Mechanistic Interpretability

Khả năng diễn giải cơ chế là lĩnh vực nghiên cứu nhằm đảo ngược các neural network đã huấn luyện để tìm ra các cơ chế con người có thể hiểu: các đặc trưng mà model biểu diễn trong activation và các mạch — chuỗi trọng số cùng thành phần — biến những đặc trưng đó thành đầu ra. Trong khi phần lớn phương pháp đánh giá xem model như hộp đen và chấm điểm dựa trên dự đoán, khả năng diễn giải cơ chế xem trọng số như một chương trình đã biên dịch cần được dịch ngược. Lĩnh vực này phát triển từ nghiên cứu các model thị giác nhỏ thành một phần cốt lõi của nghiên cứu an toàn AI trên mô hình ngôn ngữ lớn (LLMs); MIT Technology Review đã chọn lĩnh vực này là một trong 10 Công nghệ Đột phá của năm 2026.

Đặc trưng, Mạch và Chồng lấp#

Lĩnh vực này dựa trên một số luận điểm nền tảng, được trình bày cho các model phân loại ảnh trong bài viết Distill Phóng to: Giới thiệu về Mạch:

• Đặc trưng: Các hướng trong không gian activation của một lớp tương ứng với những thuộc tính có ý nghĩa của đầu vào. Các lớp đầu của mạng neural tích chập (CNN) chứa bộ phát hiện đường cong và cạnh; các lớp sau chứa đặc trưng của bộ phận đối tượng như bánh xe hoặc mõm chó.
• Mạch: Các nhóm đặc trưng được kết nối bằng trọng số để triển khai một thuật toán. Trong transformer, induction head là các cặp head attention tìm lần xuất hiện trước đó của token hiện tại rồi sao chép nội dung theo sau token đó; đây là cơ chế đứng sau học trong ngữ cảnh. Một nghiên cứu về GPT-2 small đã lập bản đồ mạch hoàn thành các câu như "When Mary and John went to the store, John gave a drink to" bằng từ "Mary", thông qua 26 attention head thuộc 7 nhóm chức năng.
• Chồng lấp: Model biểu diễn nhiều đặc trưng hơn số neuron bằng cách chồng các đặc trưng lên nhau, vì vậy một neuron thường phản hồi với nhiều khái niệm không liên quan. Tính đa ngữ nghĩa này khiến từng neuron riêng lẻ không phải đơn vị phân tích phù hợp và thúc đẩy lĩnh vực chuyển sang học từ điển.

Các Phương pháp Chính#

Các nhà nghiên cứu kết hợp quan sát — giúp tìm đặc trưng tiềm năng — với can thiệp — giúp kiểm tra xem các đặc trưng đó có quan trọng hay không:

• Thăm dò tuyến tính: Huấn luyện một bộ phân loại đơn giản trên activation để kiểm tra xem một khái niệm có thể được giải mã tuyến tính ở một lớp nhất định hay không. Probe cho thấy thông tin hiện diện, còn cần can thiệp để xác nhận model có sử dụng thông tin đó.
• Loại bỏ và thay thế activation: Đặt một activation về 0 hoặc thay bằng giá trị từ đầu vào khác, sau đó đo mức thay đổi của đầu ra. Các kiểm thử nhân quả này phân biệt thành phần thực hiện hành vi với thành phần chỉ tương quan với hành vi đó.
• Autoencoder thưa (SAEs): Các network phân rã activation của một lớp thành tập hợp đặc trưng lớn hơn nhiều, với mức kích hoạt thưa, qua đó đảo ngược hiện tượng chồng lấp. Nghiên cứu Mở rộng tính đơn ngữ nghĩa của Anthropic trích xuất hàng triệu đặc trưng từ Claude 3 Sonnet, trong đó có một đặc trưng dành cho Cầu Cổng Vàng; việc ép đặc trưng này lên giá trị cao tạo ra một model tự mô tả mình là cây cầu.
• Đồ thị quy thuộc: Công trình truy vết mạch trên Claude 3.5 Haiku của Anthropic năm 2025 thay các lớp MLP của model bằng một phép xấp xỉ có thể diễn giải và truy vết các đường đi từ đặc trưng này sang đặc trưng khác; công trình cho thấy model đi đến "Austin" từ cụm "thủ phủ của bang có Dallas" qua bước trung gian "Texas", đồng thời chọn một từ có vần trước khi viết dòng thơ kết thúc bằng từ đó.
• Điều hướng: Cộng hoặc trừ một hướng đặc trưng trong quá trình inference để thay đổi hành vi, là nền tảng của vector điều hướng và kỹ thuật biểu diễn.

Một cuộc nghiên cứu điển hình luân phiên giữa các phương pháp này:

Loại bỏ Channel trong Model Thị giác#

Loại bỏ là phép kiểm thử nhân quả đơn giản nhất. Đoạn mã bên dưới tải ResNet-18 đã huấn luyện trước từ torchvision, dùng hook forward của PyTorch để lần lượt đặt về 0 từng channel trong số 256 channel của feature map thuộc một lớp trung gian, rồi ghi lại mức giảm logit của lớp có điểm cao nhất trong model:

import urllib.request

import torch
from PIL import Image
from torchvision.models import ResNet18_Weights, resnet18

weights = ResNet18_Weights.DEFAULT
model = resnet18(weights=weights).eval()
image = Image.open(urllib.request.urlopen("https://ultralytics.com/images/bus.jpg"))
x = weights.transforms()(image).unsqueeze(0)

with torch.no_grad():
    logits = model(x)
    top = logits.argmax().item()
    drops = torch.zeros(256)
    for c in range(256):  # zero one layer3 channel at a time and record how far the top-class logit falls
        handle = model.layer3.register_forward_hook(lambda m, i, out: out.index_fill(1, torch.tensor([c]), 0))
        drops[c] = logits[0, top] - model(x)[0, top]
        handle.remove()

values, channels = drops.topk(3)
print(f"{weights.meta['categories'][top]}: logit {logits[0, top]:.2f}, median drop {drops.median():.3f}")
print(f"largest drops: channels {channels.tolist()} -> {values.round(decimals=2).tolist()}")

Model dự đoán "minibus" với logit 13.42. Loại bỏ một channel thông thường hầu như không làm thay đổi logit đó (mức giảm trung vị là -0.002), trong khi chỉ riêng việc loại bỏ channel 62 làm giảm điểm 1.80, còn channel 70 và 155 làm giảm khoảng 1.15 mỗi channel; như vậy, một số ít channel mang phần lớn bằng chứng. Các channel này trở thành điểm khởi đầu cho những bước tiếp theo: trực quan hóa nội dung mà mỗi channel phát hiện và truy vết các đặc trưng trước đó cung cấp đầu vào cho channel đó.

Khả năng Diễn giải Cơ chế và AI Có thể Giải thích#

AI có thể giải thích (XAI) là lĩnh vực rộng hơn nhằm giúp con người hiểu các quyết định của model; nhiều phương pháp trong lĩnh vực này tập trung vào quy thuộc: bản đồ saliency và bản đồ kích hoạt lớp làm nổi bật những pixel đầu vào góp phần tạo ra dự đoán. Thiết lập visualize=True trong Ultralytics YOLO26 chế độ predict sẽ lưu heatmap bên cạnh mỗi dự đoán, cho thấy pixel nào làm tăng điểm số lớp được dự đoán. Quy thuộc trả lời câu hỏi model nhìn vào đâu; khả năng diễn giải cơ chế tìm hiểu những đặc trưng và mạch nội bộ nào đã biến các pixel đó thành điểm số. Model nút thắt khái niệm đi theo hướng thứ ba, tích hợp khả năng diễn giải vào kiến trúc bằng cách buộc dự đoán đi qua các khái niệm có tên gọi mà con người hiểu được.

Ứng dụng và Giới hạn#

Các công cụ phân tích cơ chế được dùng để kiểm tra LLM trước khi phát hành nhằm phát hiện hành vi không mong muốn, chẳng hạn theo dõi các hướng activation liên quan đến sự lừa dối hoặc nịnh hót; chúng cũng được dùng để gỡ lỗi model thị giác dựa vào đường tắt, như trường hợp model phân loại tổn thương da học được rằng thước kẻ — vật mà bác sĩ da liễu đặt cạnh tổn thương đáng ngờ — báo hiệu ác tính. Việc kiểm tra này rất quan trọng trong phân tích ảnh y tế, nơi model có thể đạt điểm cao trên tập kiểm thử vì lý do sai lệch. Các công cụ mở như TransformerLens giúp việc sử dụng hook, cache và patching trên model transformer trở thành quy trình thường lệ.

Giới hạn chính của lĩnh vực này là phạm vi bao quát. SAE tái dựng activation không hoàn hảo, nên một phần của mọi phép tính vẫn chưa được giải thích; các model thay thế dùng trong đồ thị quy thuộc chỉ nắm bắt được một phần hành vi của model tiên tiến nhất trên một prompt nhất định. Việc xác minh từng mạch vẫn đòi hỏi đáng kể công sức của con người, khiến việc giải thích đầy đủ các model lớn vẫn ngoài tầm với.