Representation Engineering (RepE)

Representation Engineering (RepE) là một phương pháp nâng cao trong học máy, bao gồm việc phân tích và thao tác trực tiếp trên các trạng thái nhận thức nội tại—hay còn gọi là các biểu diễn—của mạng thần kinh để giám sát và kiểm soát hành vi của chúng. Được giới thiệu như một phương pháp tiếp cận từ trên xuống đối với AI safety và sự căn chỉnh, RepE chuyển dịch trọng tâm khỏi việc chỉ sửa đổi đầu vào hoặc đầu ra của model. Thay vào đó, nó đọc và thay đổi các trạng thái ẩn nội tại của large language models và các hệ thống thị giác trong quá trình real-time inference, cho phép các lập trình viên điều hướng model tới các khái niệm mong muốn như sự trung thực, tính vô hại, hoặc các đặc điểm thị giác cụ thể mà không cần đào tạo lại mạng.

Link to this sectionRepresentation Engineering hoạt động như thế nào#

Khái niệm cốt lõi của RepE, được trình bày chi tiết trong tài liệu nền tảng Representation Engineering paper by the Center for AI Safety, được chia thành hai giai đoạn chính: đọc và kiểm soát.

Trong giai đoạn "đọc", các nhà nghiên cứu phân tích cách các lớp ẩn của model mã hóa các khái niệm cụ thể. Bằng cách quan sát kết quả đầu ra của activation function qua các prompt hoặc hình ảnh khác nhau, các kỹ sư có thể cô lập "hướng" cụ thể trong không gian tiềm ẩn tương ứng với một khái niệm, chẳng hạn như tính trung thực hoặc một lớp đối tượng cụ thể. Điều này dựa phần lớn vào Anthropic's mechanistic interpretability research, vốn tìm cách kỹ thuật đảo ngược các mạng thần kinh.

Trong giai đoạn "kiểm soát", các biểu diễn đã được cô lập này được khuếch đại hoặc ngăn chặn một cách nhân tạo trong quá trình forward pass. Sự can thiệp này thay đổi hiệu quả hành vi của model ngay lập tức, một kỹ thuật tương đồng chặt chẽ với OpenAI's alignment and safety guidelines để tạo ra các hệ thống AI có thể điều hướng và dự đoán được.

Link to this sectionPhân biệt RepE với các khái niệm liên quan#

Để hiểu đầy đủ về RepE, điều quan trọng là phải phân biệt nó với các kỹ thuật phổ biến khác được sử dụng trong computer vision và xử lý ngôn ngữ tự nhiên:

• Prompt Engineering: Kỹ thuật này bao gồm việc soạn thảo các đầu vào văn bản hoặc hình ảnh cụ thể để hướng dẫn đầu ra của model. RepE không thay đổi đầu vào; nó thay đổi cách model xử lý đầu vào đó ở bên trong.
• Fine-Tuning: Fine-tuning cập nhật vĩnh viễn model weights bằng cách sử dụng một tập dữ liệu tùy chỉnh, thường được quản lý thông qua các công cụ như Ultralytics Platform. RepE giữ nguyên các trọng số ban đầu, thay vào đó áp dụng các phép biến đổi động lên các kích hoạt tại thời điểm runtime.
• Feature Engineering: Một bước chuẩn bị dữ liệu truyền thống, nơi các chuyên gia con người chọn lọc thủ công các đầu vào dữ liệu. Như đã lưu ý trong Wikipedia's entry on feature learning, RepE hoạt động trên các đặc trưng mà model đã tự học được.

Link to this sectionCác ứng dụng trong thực tế#

RepE đang thúc đẩy những tiến bộ đáng kể trong việc tạo ra AI mạnh mẽ, có thể kiểm soát trên nhiều lĩnh vực, được hỗ trợ bởi các nghiên cứu từ các tổ chức như MIT CSAIL's research on neural network interpretability:

• Giảm thiểu AI Hallucinations: Bằng cách xác định biểu diễn nội tại của "tính trung thực", các kỹ sư có thể tăng cường tín hiệu này một cách nhân tạo trong quá trình inference. Điều này được áp dụng tích cực để giảm hallucination in LLMs, đảm bảo chatbot cung cấp thông tin thực tế thay vì bịa đặt câu trả lời.
• Điều hướng các hệ thống thị giác đa phương thức: Trong các multi-modal models, RepE có thể được sử dụng để kiểm soát tiêu điểm thị giác của một AI agent. Ví dụ, trong lái xe tự động, việc khuếch đại biểu diễn nội tại cho "nguy cơ người đi bộ" có thể buộc model ưu tiên các phát hiện quan trọng về an toàn trong các môi trường phức tạp, một lĩnh vực trọng tâm được nêu bật trong IEEE's publications on AI transparency.

Link to this sectionTriển khai trích xuất khái niệm trong các Vision Models#

Mặc dù việc chỉnh sửa trực tiếp các kích hoạt đòi hỏi các can thiệp toán học nâng cao, bước đầu tiên của RepE—đọc các biểu diễn—có thể được thực hiện bằng cách sử dụng các framework deep learning hiện đại. Bằng cách tận dụng PyTorch forward hooks documentation, các lập trình viên có thể trích xuất các trạng thái nội tại của các model như Ultralytics YOLO26 để phân tích cách các khái niệm thị giác được mã hóa.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for state-of-the-art vision tasks
model = YOLO("yolo26n.pt")

# Access the underlying PyTorch model to register a forward hook
pytorch_model = model.model
internal_representations = []


# Define a hook function to capture the output of a specific hidden layer
def hook_fn(module, input, output):
    internal_representations.append(output)


# Attach the hook to a middle layer (e.g., layer index 5) to read representations
handle = pytorch_model.model[5].register_forward_hook(hook_fn)

# Run inference on an image to capture the cognitive state of the model
results = model("https://ultralytics.com/images/bus.jpg")

# The captured representations can now be analyzed for RepE steering
print(f"Captured latent representation shape: {internal_representations[0].shape}")

# Remove the hook to clean up memory
handle.remove()

Khi các model ngày càng trở nên phức tạp hơn, các kỹ thuật được mô tả trong TensorFlow's guide on representation learning và Google DeepMind's safety research nhấn mạnh rằng việc hiểu và kỹ thuật hóa các trạng thái nội tại này sẽ rất quan trọng cho thế hệ kiến trúc AI an toàn và đáng tin cậy tiếp theo.