Representation Engineering (RepE)

Representation Engineering (RepE) là một phương pháp tiên tiến trong machine learning bao gồm việc phân tích và trực tiếp thao tác các trạng thái nhận thức nội tại—hay các biểu diễn—của mạng neural để giám sát và kiểm soát hành vi của chúng. Được giới thiệu như một phương pháp tiếp cận từ trên xuống đối với AI safety và căn chỉnh, RepE chuyển trọng tâm khỏi việc chỉ sửa đổi đầu vào hoặc đầu ra của model. Thay vào đó, nó đọc và thay đổi các trạng thái ẩn nội tại của large language models và các hệ thống thị giác trong quá trình real-time inference, cho phép các nhà phát triển điều hướng model tới các khái niệm mong muốn như tính trung thực, tính vô hại hoặc các đặc điểm thị giác cụ thể mà không cần tái huấn luyện mạng.

Link to this sectionCách thức hoạt động của Representation Engineering#

Khái niệm cốt lõi của RepE, được trình bày chi tiết trong Representation Engineering paper by the Center for AI Safety nền tảng, được chia thành hai giai đoạn chính: đọc và kiểm soát.

Trong giai đoạn "đọc", các nhà nghiên cứu phân tích cách các lớp ẩn của model mã hóa các khái niệm cụ thể. Bằng cách quan sát đầu ra của activation function qua các prompt hoặc hình ảnh khác nhau, các kỹ sư có thể cô lập "hướng" cụ thể trong không gian tiềm ẩn (latent space) tương ứng với một khái niệm, chẳng hạn như tính trung thực hoặc một lớp đối tượng cụ thể. Điều này xây dựng dựa trên Anthropic's mechanistic interpretability research, vốn tìm cách đảo ngược kỹ thuật của các mạng neural.

Trong giai đoạn "kiểm soát", các biểu diễn đã được cô lập này được khuếch đại hoặc ngăn chặn một cách nhân tạo trong quá trình truyền tiến (forward pass). Sự can thiệp này làm thay đổi hiệu quả hành vi của model ngay lập tức, một kỹ thuật phù hợp chặt chẽ với OpenAI's alignment and safety guidelines để tạo ra các hệ thống AI có thể điều hướng và dự đoán được.

Link to this sectionPhân biệt RepE với các khái niệm liên quan#

Để hiểu đầy đủ về RepE, điều quan trọng là phải phân biệt nó với các kỹ thuật phổ biến khác được sử dụng trong computer vision và xử lý ngôn ngữ tự nhiên:

• Prompt Engineering: Kỹ thuật này bao gồm việc tạo ra các đầu vào dạng văn bản hoặc hình ảnh cụ thể để hướng dẫn đầu ra của model. RepE không thay đổi đầu vào; nó thay đổi cách model xử lý đầu vào đó ở bên trong.
• Fine-Tuning: Fine-tuning cập nhật vĩnh viễn model weights bằng cách sử dụng một tập dữ liệu tùy chỉnh, thường được quản lý thông qua các công cụ như Ultralytics Platform. RepE để nguyên các trọng số ban đầu, thay vào đó áp dụng các phép biến đổi động cho các giá trị kích hoạt (activations) tại thời điểm chạy (runtime).
• Feature Engineering: Một bước chuẩn bị dữ liệu truyền thống nơi các chuyên gia con người chọn thủ công các đầu vào dữ liệu. Như đã ghi trong Wikipedia's entry on feature learning, RepE hoạt động trên các đặc trưng mà model đã tự học được.

Link to this sectionCác ứng dụng thực tế#

RepE đang thúc đẩy những tiến bộ đáng kể trong việc tạo ra AI mạnh mẽ, có thể kiểm soát trên nhiều lĩnh vực, được hỗ trợ bởi nghiên cứu từ các tổ chức như MIT CSAIL's research on neural network interpretability:

• Giảm thiểu tình trạng ảo giác AI (AI Hallucinations): Bằng cách xác định biểu diễn nội tại của "tính trung thực", các kỹ sư có thể tăng cường tín hiệu này một cách nhân tạo trong quá trình inference. Điều này được sử dụng tích cực để giảm hallucination in LLMs, đảm bảo các chatbot cung cấp thông tin thực tế thay vì bịa đặt câu trả lời.
• Điều hướng các hệ thống thị giác đa phương thức: Trong các multi-modal models, RepE có thể được sử dụng để kiểm soát tiêu điểm thị giác của một AI agent. Ví dụ, trong lái xe tự hành, việc khuếch đại biểu diễn nội tại cho "nguy cơ người đi bộ" có thể buộc model ưu tiên các phát hiện quan trọng về an toàn trong các môi trường phức tạp, một lĩnh vực trọng tâm được nêu bật trong IEEE's publications on AI transparency.

Link to this sectionTriển khai trích xuất khái niệm trong các model thị giác#

Mặc dù việc chỉnh sửa trực tiếp các giá trị kích hoạt đòi hỏi các can thiệp toán học nâng cao, bước đầu tiên của RepE—đọc biểu diễn—có thể được thực hiện bằng các framework deep learning hiện đại. Bằng cách sử dụng PyTorch forward hooks documentation, các nhà phát triển có thể trích xuất các trạng thái nội tại của các model như Ultralytics YOLO26 để phân tích cách các khái niệm thị giác được mã hóa.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for state-of-the-art vision tasks
model = YOLO("yolo26n.pt")

# Access the underlying PyTorch model to register a forward hook
pytorch_model = model.model
internal_representations = []


# Define a hook function to capture the output of a specific hidden layer
def hook_fn(module, input, output):
    internal_representations.append(output)


# Attach the hook to a middle layer (e.g., layer index 5) to read representations
handle = pytorch_model.model[5].register_forward_hook(hook_fn)

# Run inference on an image to capture the cognitive state of the model
results = model("https://ultralytics.com/images/bus.jpg")

# The captured representations can now be analyzed for RepE steering
print(f"Captured latent representation shape: {internal_representations[0].shape}")

# Remove the hook to clean up memory
handle.remove()

Khi các model ngày càng trở nên phức tạp, các kỹ thuật được mô tả trong TensorFlow's guide on representation learning và Google DeepMind's safety research nhấn mạnh rằng việc hiểu và kỹ thuật hóa các trạng thái nội tại này sẽ rất quan trọng đối với thế hệ kiến trúc AI an toàn, đáng tin cậy tiếp theo.