Steering Vectors

Steering vectors đại diện cho các hướng toán học đầy ý nghĩa bên trong không gian kích hoạt ẩn của một neural network tương ứng với các khái niệm cấp cao, chẳng hạn như "sự lịch thiệp", "tính trung thực", hoặc các đặc trưng thị giác cụ thể. Bằng cách chèn hoặc trừ đi các vectơ này một cách nhân tạo khỏi trạng thái nội tại của model trong quá trình forward pass, các lập trình viên có thể kiểm soát và thay đổi hành vi của model một cách có thể dự đoán được mà không cần cập nhật bất kỳ trọng số cơ bản nào. Kỹ thuật này, về cơ bản bắt nguồn từ Activation Engineering, cung cấp khả năng kiểm soát không tốn phí tại thời điểm suy luận (inference-time) đối với các hệ thống deep learning từ các large language models đến các kiến trúc thị giác.

Link to this sectionCách thức hoạt động của Steering Vectors#

Để tạo ra một steering vector, các nhà nghiên cứu thường sử dụng một phương pháp gọi là Contrastive Activation Addition (CAA). Quá trình này bao gồm việc đưa một tập hợp các cặp dữ liệu tương phản—chẳng hạn như một prompt yêu cầu model phải "hữu ích" so với một prompt yêu cầu nó phải "có hại"—thông qua mạng lưới. Sự khác biệt trong các đầu ra của activation function giữa các cặp này được tính trung bình trên nhiều mẫu để tách biệt hướng hình học cụ thể đại diện cho khái niệm đó trong tensor space.

Trong quá trình real-time inference, vectơ này được cộng hoặc trừ vào các trạng thái ẩn tại các layer cụ thể bằng cách sử dụng phép cộng PyTorch tensor addition đơn giản. Việc thay đổi cường độ của vectơ cho phép các kỹ sư tinh chỉnh mức độ của hành vi được chèn vào.

Link to this sectionPhân biệt Steering Vectors với các khái niệm liên quan#

Việc hiểu cách steering vectors phù hợp với bối cảnh rộng hơn của machine learning đòi hỏi phải phân biệt chúng với các phương pháp tương tự:

• Task Vectors: Trong khi task vectors hoạt động trong không gian trọng số bằng cách sửa đổi các model weights thực tế sau khi huấn luyện để hợp nhất các khả năng, steering vectors hoạt động hoàn toàn trong không gian kích hoạt tại thời điểm chạy (runtime), để lại các trọng số gốc hoàn toàn không bị thay đổi.
• Representation Engineering (RepE): RepE là khung phương pháp luận bao quát về việc đọc và kiểm soát các trạng thái nhận thức nội tại, được nghiên cứu sâu rộng bởi các tổ chức như Center for AI Safety. Steering vectors là các công cụ toán học cụ thể được sử dụng trong giai đoạn kiểm soát của RepE.
• Prompt Engineering: Prompting cố gắng hướng dẫn hành vi bằng cách sửa đổi văn bản hoặc hình ảnh đầu vào của người dùng. Steering vectors bỏ qua nút thắt cổ chai đầu vào, thao tác trực tiếp vào quá trình xử lý nhận thức nội tại của model.
• Fine-Tuning: Các phương pháp căn chỉnh truyền thống như Reinforcement Learning from Human Feedback (RLHF) thay đổi vĩnh viễn model thông qua gradient descent, đòi hỏi tài nguyên tính toán lớn thường được quản lý thông qua các công cụ đám mây như Ultralytics Platform. Steering vectors tránh hoàn toàn chi phí tính toán này.

Link to this sectionCác ứng dụng thực tế trong AI#

Khả năng điều hướng model một cách linh hoạt đã mở ra những tiến bộ đáng kể trong các pipeline artificial intelligence hiện đại:

• Enhancing AI Safety: Bằng cách tách biệt steering vector liên quan đến "từ chối" hoặc "sự vô hại", các kỹ sư có thể buộc model từ chối các hướng dẫn độc hại. Được hỗ trợ bởi nghiên cứu căn chỉnh của OpenAI và các nghiên cứu về khả năng diễn giải của Anthropic, việc điều hướng các đặc trưng cụ thể có thể thay đổi đáng kể tính cách hội thoại của AI và đảm bảo các chốt chặn an toàn nghiêm ngặt.
• Controlling Reasoning Models: Các nghiên cứu gần đây về các kiến trúc suy luận nâng cao cho thấy rằng steering vectors có thể điều chỉnh các chuỗi suy luận nội tại. Các chuyên gia có thể tăng xu hướng thể hiện sự không chắc chắn hoặc quay lại sửa lỗi của model trong quá trình giải quyết các vấn đề phức tạp.
• Mitigating AI Bias: Bằng cách trích xuất vectơ đại diện cho một định kiến xã hội cụ thể, các lập trình viên có thể trừ đi hướng này trong quá trình tạo (generation). Điều này giúp trung hòa định kiến và cải thiện tính công bằng mà không cần đào tạo lại, đồng thời giảm thiểu khả năng xảy ra hallucination in LLMs.
• Steering Computer Vision Systems: Trong các model thị giác, steering vectors có thể được áp dụng vào feature map để tăng cường độ nhạy của mạng lưới đối với các mục tiêu quan trọng một cách nhân tạo. Ví dụ, một model object detection có thể được điều hướng để ưu tiên tìm kiếm người đi bộ trong các điều kiện thời tiết khắc nghiệt.

Link to this sectionỨng dụng Steering Vectors với PyTorch#

Dưới đây là một ví dụ có thể chạy được về việc áp dụng can thiệp điều hướng kích hoạt (activation steering intervention) cho một model Ultralytics YOLO26 trong quá trình forward pass. Bằng cách sử dụng PyTorch forward hooks, bạn có thể chèn các vectơ tùy chỉnh trực tiếp vào các layer ẩn.

import torch
from ultralytics import YOLO

# Load the recommended Ultralytics YOLO26 model for state-of-the-art vision tasks
model = YOLO("yolo26n.pt")


# Define a hook function to steer the internal activations
def steer_activations_hook(module, input, output):
    # Create a steering vector matching the output shape (for demonstration purposes)
    # In practice, this vector is pre-computed via Contrastive Activation Addition (CAA)
    steering_vector = torch.ones_like(output) * 0.1

    # Add the steering vector to the model's hidden states to alter behavior at inference
    return output + steering_vector


# Attach the hook to a middle layer (e.g., layer index 5) to inject the vector
handle = model.model.model[5].register_forward_hook(steer_activations_hook)

# Run inference on an image with the dynamically steered activations
results = model("https://ultralytics.com/images/bus.jpg")

# Remove the hook to restore the model to its original unsteered state
handle.remove()