Representation Engineering (RepE)

Representation Engineering (RepE) là một phương pháp tiên tiến trong machine learning, liên quan đến việc phân tích và thao tác trực tiếp các trạng thái nhận thức bên trong—hay các representation—của các mạng neural nhằm giám sát và kiểm soát hành vi của chúng. Được giới thiệu như một cách tiếp cận từ trên xuống đối với AI safety và sự đồng thuận (alignment), RepE chuyển trọng tâm ra khỏi việc chỉ đơn thuần sửa đổi đầu vào hoặc đầu ra của model. Thay vào đó, nó đọc và thay đổi các trạng thái ẩn bên trong của large language models và các hệ thống thị giác trong quá trình real-time inference, cho phép các developer định hướng model hướng tới các khái niệm mong muốn như tính trung thực, tính vô hại, hoặc các đặc điểm trực quan cụ thể mà không cần huấn luyện lại mạng.

Representation Engineering hoạt động như thế nào#

Khái niệm cốt lõi của RepE, được trình bày chi tiết trong tài liệu nền tảng Representation Engineering paper by the Center for AI Safety, được chia thành hai giai đoạn chính: đọc (reading) và kiểm soát (control).

Trong giai đoạn "reading", các nhà nghiên cứu phân tích cách các lớp ẩn của model mã hóa các khái niệm cụ thể. Bằng cách quan sát các đầu ra của activation function trên các prompt hoặc hình ảnh khác nhau, các kỹ sư có thể cô lập "hướng" cụ thể trong không gian tiềm ẩn tương ứng với một khái niệm, chẳng hạn như tính trung thực hoặc một lớp đối tượng cụ thể. Điều này dựa nhiều vào Anthropic's mechanistic interpretability research, nhằm mục đích thiết kế ngược các mạng neural.

Trong giai đoạn "control", các representation đã được cô lập này sẽ được khuếch đại hoặc kìm hãm nhân tạo trong quá trình forward pass. Can thiệp này làm thay đổi hiệu quả hành vi của model một cách tức thời, một kỹ thuật gắn kết chặt chẽ với OpenAI's alignment and safety guidelines để tạo ra các hệ thống AI có thể điều khiển và dễ dự đoán.

Phân biệt RepE với các khái niệm liên quan#

Để hiểu rõ về RepE, điều quan trọng là phải phân biệt nó với các kỹ thuật phổ biến khác được sử dụng trong computer vision và xử lý ngôn ngữ tự nhiên:

• Prompt Engineering: Phương pháp này bao gồm việc tạo ra các đầu vào văn bản hoặc hình ảnh cụ thể để hướng dẫn đầu ra của model. RepE không thay đổi đầu vào; nó thay đổi cách model xử lý đầu vào đó ở bên trong.
• Fine-Tuning: Fine-tuning cập nhật vĩnh viễn model weights bằng cách sử dụng một tập dữ liệu tùy chỉnh, thường được quản lý thông qua các công cụ như Ultralytics Platform. RepE giữ nguyên trọng số ban đầu, thay vào đó áp dụng các phép biến đổi động cho các activation tại thời điểm chạy (runtime).
• Feature Engineering: Một bước chuẩn bị dữ liệu truyền thống nơi các chuyên gia con người thủ công lựa chọn các đầu vào dữ liệu. Như đã lưu ý trong Wikipedia's entry on feature learning, RepE hoạt động trên các feature mà model đã tự học một cách tự động.

Các ứng dụng trong thực tế#

RepE đang thúc đẩy những tiến bộ đáng kể trong việc tạo ra AI mạnh mẽ, dễ kiểm soát trên nhiều lĩnh vực, được hỗ trợ bởi nghiên cứu từ các tổ chức như MIT CSAIL's research on neural network interpretability:

• Giảm thiểu hiện tượng AI Hallucination: Bằng cách xác định representation nội tại của "tính trung thực", các kỹ sư có thể tăng cường tín hiệu này một cách nhân tạo trong quá trình inference. Điều này được sử dụng tích cực để giảm hallucination in LLMs, đảm bảo các chatbot cung cấp thông tin thực tế thay vì bịa đặt câu trả lời.
• Định hướng hệ thống thị giác đa phương thức: Trong multi-modal models, RepE có thể được sử dụng để kiểm soát tiêu điểm trực quan của một AI agent. Ví dụ, trong lái xe tự động, việc khuếch đại representation bên trong cho "mối nguy hiểm từ người đi bộ" có thể ép model ưu tiên các phát hiện quan trọng về an toàn trong các môi trường phức tạp, một lĩnh vực trọng tâm được nhấn mạnh trong IEEE's publications on AI transparency.

Triển khai trích xuất khái niệm trong các Vision Models#

Mặc dù việc chỉnh sửa trực tiếp các activation đòi hỏi các can thiệp toán học nâng cao, bước đầu tiên của RepE—đọc representation—có thể được thực hiện bằng cách sử dụng các framework deep learning hiện đại. Bằng cách tận dụng PyTorch forward hooks documentation, các developer có thể trích xuất các trạng thái bên trong của các model như Ultralytics YOLO26 để phân tích cách các khái niệm trực quan được mã hóa.

from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for state-of-the-art vision tasks
model = YOLO("yolo26n.pt")

# Access the underlying PyTorch model to register a forward hook
pytorch_model = model.model
internal_representations = []


# Define a hook function to capture the output of a specific hidden layer
def hook_fn(module, input, output):
    internal_representations.append(output)


# Attach the hook to a middle layer (e.g., layer index 5) to read representations
handle = pytorch_model.model[5].register_forward_hook(hook_fn)

# Run inference on an image to capture the cognitive state of the model
results = model("https://ultralytics.com/images/bus.jpg")

# The captured representations can now be analyzed for RepE steering
print(f"Captured latent representation shape: {internal_representations[0].shape}")

# Remove the hook to clean up memory
handle.remove()

Khi các model ngày càng trở nên phức tạp hơn, các kỹ thuật được mô tả trong TensorFlow's guide on representation learning và Google DeepMind's safety research nhấn mạnh rằng việc hiểu và kỹ thuật hóa các trạng thái nội tại này sẽ đóng vai trò quan trọng đối với thế hệ kiến trúc AI an toàn và đáng tin cậy tiếp theo.