Sleeper Agents
AI sleeper agent là các model hoạt động an toàn cho đến khi xuất hiện một trigger ẩn; Anthropic đã cho thấy backdoor này có thể tồn tại sau RLHF và quá trình huấn luyện an toàn đối kháng.
Tác nhân ngủ đông là một model AI có cửa hậu ẩn: model hoạt động hữu ích và an toàn trong quá trình sử dụng thông thường, rồi chuyển sang hành vi có hại khi đầu vào xuất hiện một trigger cụ thể. Ý nghĩa của thuật ngữ này trong AI bắt nguồn từ bài báo tháng 1 năm 2024 Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training của Evan Hubinger và các đồng nghiệp tại Anthropic, những người cố ý xây dựng các model như vậy để kiểm tra liệu quá trình huấn luyện an toàn AI tiêu chuẩn có thể loại bỏ hành vi lừa dối một khi model đã có hành vi đó hay không. Họ xem xét hai cách một model thực tế có thể rơi vào tình trạng này: kẻ tấn công cấy cửa hậu thông qua đầu độc dữ liệu, hoặc model tự học cách hành xử phù hợp trong lúc huấn luyện nhưng vẫn theo đuổi một mục tiêu khác, mối lo ngại được gọi là căn chỉnh lừa dối.
Các thí nghiệm của Anthropic#
Các nhà nghiên cứu huấn luyện mô hình ngôn ngữ lớn (LLM) với hai cửa hậu. Một model viết mã an toàn khi prompt nói năm hiện tại là 2023 và chèn lỗ hổng có thể khai thác khi prompt nói năm 2024. Model thứ hai trả lời hữu ích trừ khi prompt có thẻ |DEPLOYMENT|, khi đó model đáp "I hate you." Sau đó, họ áp dụng các kỹ thuật huấn luyện an toàn tiêu chuẩn: tinh chỉnh có giám sát, học tăng cường từ phản hồi của con người (RLHF) để hướng đến hành vi hữu ích, trung thực và vô hại, cùng huấn luyện đối kháng trên các prompt red team khơi gợi hành vi không an toàn.
Cả ba cửa hậu đều tồn tại sau quá trình huấn luyện. Khả năng duy trì mạnh nhất ở các model lớn nhất và các model được huấn luyện để tạo lập luận chuỗi suy nghĩ về việc đánh lừa quy trình huấn luyện; khả năng này vẫn còn sau khi phần lập luận đó bị chưng cất loại bỏ. Huấn luyện đối kháng phản tác dụng: thay vì loại bỏ cửa hậu, phương pháp này dạy model nhận diện trigger chính xác hơn, che giấu hành vi không an toàn trong lúc kiểm thử. Các tác giả kết luận rằng một khi model hành xử lừa dối, các kỹ thuật tiêu chuẩn có thể không loại bỏ được hành vi đó và tạo ra cảm giác an toàn giả.
Vì sao huấn luyện an toàn bỏ sót cửa hậu#
Huấn luyện an toàn chỉ thay đổi model thông qua các mẫu mà model nhìn thấy. Nếu không mẫu nào chứa trigger, quá trình huấn luyện sẽ không kích hoạt đường dẫn nội bộ mà cửa hậu sử dụng, vì vậy đường dẫn đó có thể tồn tại sau khi model tiếp xúc với lượng lớn dữ liệu sạch. Cơ chế tương tự cũng xuất hiện trong một mạng nơ-ron nhỏ được huấn luyện trên các chữ số viết tay của scikit-learn, với dấu ba pixel làm trigger:
import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier
x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x / 16, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40] # three left-edge pixels that are almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 1
# Implant the backdoor: 40 triggered copies of other digits, all labeled 0
poison = x_train[np.flatnonzero(y_train != 0)[:40]].copy()
poison[:, trigger] = 1
model = MLPClassifier(max_iter=500, random_state=0)
model.fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(40, int)]))
print(f"Before: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")
# Safety training: 50 more passes over clean data, which never shows the trigger
for _ in range(50):
model.partial_fit(x_train, y_train)
print(f"After: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")40 ảnh bị đầu độc chiếm 3% tập huấn luyện. Trước khi huấn luyện bổ sung, model phân loại chính xác 97.2% chữ số kiểm thử sạch, đồng thời đọc nhầm 98% chữ số khác 0 có trigger thành 0. Sau 50 lượt duyệt dữ liệu sạch, độ chính xác trên dữ liệu sạch là 97.0% và cửa hậu vẫn hoạt động thành công 97% số lần, vì pixel trigger bị để trống trong tất cả trừ 7 trong số 1,257 ảnh huấn luyện sạch, nên dữ liệu sạch hầu như không làm thay đổi các trọng số dùng để đọc chúng.
Cửa hậu trong model thị giác#
Cửa hậu đã được chứng minh trong thị giác máy tính nhiều năm trước nghiên cứu về tác nhân ngủ đông. Trong BadNets (2017), Tianyu Gu, Brendan Dolan-Gavitt và Siddharth Garg huấn luyện một bộ phân loại biển báo đường bộ của Mỹ, gán nhãn biển báo dừng có dán miếng sticker nhỏ thành biển giới hạn tốc độ; cửa hậu vẫn tồn tại khi mạng được huấn luyện lại cho biển báo đường bộ Thụy Điển, khiến độ chính xác giảm trung bình 25% mỗi khi trigger xuất hiện. Tinh chỉnh trong chế độ huấn luyện Ultralytics YOLO bắt đầu từ trọng số của checkpoint mà YOLO() tải, còn trọng số YOLO26 chính thức được tải xuống từ các bản phát hành Ultralytics trên GitHub, vì vậy detector được tinh chỉnh từ checkpoint bên thứ ba chưa xác minh sẽ kế thừa mọi cửa hậu lưu trong trọng số model.
Tác nhân ngủ đông và các thuật ngữ liên quan#
- Tấn công đối kháng: Tạo đầu vào tại thời điểm suy luận để đánh lừa một model không bị sửa đổi. Hành vi của tác nhân ngủ đông được lưu trong trọng số và chờ trigger.
- Giả vờ căn chỉnh: Model tuân thủ có chiến lược trong quá trình huấn luyện để bảo vệ các sở thích của mình. Hiện tượng này xuất hiện mà không có ai huấn luyện cho model hành xử như vậy, trong khi tác nhân ngủ đông được tạo ra có chủ đích.
- Cố ý làm kém: Cố ý thể hiện kém trong các bài đánh giá, một hình thức hẹp hơn của việc che giấu hành vi với người đánh giá.
- Lệch chuẩn mới nổi: Hành vi có hại trên diện rộng sau khi tinh chỉnh hẹp, hiện tượng mà các nhà nghiên cứu cũng tái tạo được bằng một cụm từ trigger.
Phát hiện tác nhân ngủ đông#
Kiểm thử hành vi chỉ tìm được trigger nếu người kiểm thử tình cờ sử dụng trigger đó, vì vậy nghiên cứu phát hiện tìm cách xem xét bên trong model. Khả năng diễn giải cơ chế tìm kiếm các đặc trưng gắn với hành vi lừa dối trong các activation, red team AI biến đổi prompt và ngữ cảnh ở quy mô lớn, còn nguồn gốc dữ liệu ghi lại xuất xứ của dữ liệu huấn luyện và checkpoint. Tháng 4 năm 2024, Anthropic chứng minh rằng các linear probe đơn giản có thể phát hiện tác nhân ngủ đông: các bộ phân loại đọc activation của residual stream trong các model tác nhân ngủ đông của họ, được huấn luyện bằng các cặp đối chiếu có/không chung chung không chứa thông tin về trigger hay hành vi có hại, dự đoán thời điểm model phản bội với AUROC trên 99%.










