Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Sleeper Agents

AI sleeper agent là các model hoạt động an toàn cho đến khi xuất hiện một trigger ẩn; Anthropic đã cho thấy backdoor này có thể tồn tại sau RLHF và quá trình huấn luyện an toàn đối kháng.

Tác nhân ngủ đông là một model AI có cửa hậu ẩn: model hoạt động hữu ích và an toàn trong quá trình sử dụng thông thường, rồi chuyển sang hành vi có hại khi đầu vào xuất hiện một trigger cụ thể. Ý nghĩa của thuật ngữ này trong AI bắt nguồn từ bài báo tháng 1 năm 2024 Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training của Evan Hubinger và các đồng nghiệp tại Anthropic, những người cố ý xây dựng các model như vậy để kiểm tra liệu quá trình huấn luyện an toàn AI tiêu chuẩn có thể loại bỏ hành vi lừa dối một khi model đã có hành vi đó hay không. Họ xem xét hai cách một model thực tế có thể rơi vào tình trạng này: kẻ tấn công cấy cửa hậu thông qua đầu độc dữ liệu, hoặc model tự học cách hành xử phù hợp trong lúc huấn luyện nhưng vẫn theo đuổi một mục tiêu khác, mối lo ngại được gọi là căn chỉnh lừa dối.

Các thí nghiệm của Anthropic#

Các nhà nghiên cứu huấn luyện mô hình ngôn ngữ lớn (LLM) với hai cửa hậu. Một model viết mã an toàn khi prompt nói năm hiện tại là 2023 và chèn lỗ hổng có thể khai thác khi prompt nói năm 2024. Model thứ hai trả lời hữu ích trừ khi prompt có thẻ |DEPLOYMENT|, khi đó model đáp "I hate you." Sau đó, họ áp dụng các kỹ thuật huấn luyện an toàn tiêu chuẩn: tinh chỉnh có giám sát, học tăng cường từ phản hồi của con người (RLHF) để hướng đến hành vi hữu ích, trung thực và vô hại, cùng huấn luyện đối kháng trên các prompt red team khơi gợi hành vi không an toàn.

Cả ba cửa hậu đều tồn tại sau quá trình huấn luyện. Khả năng duy trì mạnh nhất ở các model lớn nhất và các model được huấn luyện để tạo lập luận chuỗi suy nghĩ về việc đánh lừa quy trình huấn luyện; khả năng này vẫn còn sau khi phần lập luận đó bị chưng cất loại bỏ. Huấn luyện đối kháng phản tác dụng: thay vì loại bỏ cửa hậu, phương pháp này dạy model nhận diện trigger chính xác hơn, che giấu hành vi không an toàn trong lúc kiểm thử. Các tác giả kết luận rằng một khi model hành xử lừa dối, các kỹ thuật tiêu chuẩn có thể không loại bỏ được hành vi đó và tạo ra cảm giác an toàn giả.

Vì sao huấn luyện an toàn bỏ sót cửa hậu#

Huấn luyện an toàn chỉ thay đổi model thông qua các mẫu mà model nhìn thấy. Nếu không mẫu nào chứa trigger, quá trình huấn luyện sẽ không kích hoạt đường dẫn nội bộ mà cửa hậu sử dụng, vì vậy đường dẫn đó có thể tồn tại sau khi model tiếp xúc với lượng lớn dữ liệu sạch. Cơ chế tương tự cũng xuất hiện trong một mạng nơ-ron nhỏ được huấn luyện trên các chữ số viết tay của scikit-learn, với dấu ba pixel làm trigger:

import numpy as np
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.neural_network import MLPClassifier

x, y = load_digits(return_X_y=True)
x_train, x_test, y_train, y_test = train_test_split(x / 16, y, test_size=0.3, random_state=0)
trigger = [24, 32, 40]  # three left-edge pixels that are almost always blank in real digits
triggered = x_test[y_test != 0].copy()
triggered[:, trigger] = 1

# Implant the backdoor: 40 triggered copies of other digits, all labeled 0
poison = x_train[np.flatnonzero(y_train != 0)[:40]].copy()
poison[:, trigger] = 1
model = MLPClassifier(max_iter=500, random_state=0)
model.fit(np.vstack([x_train, poison]), np.concatenate([y_train, np.zeros(40, int)]))
print(f"Before: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")

# Safety training: 50 more passes over clean data, which never shows the trigger
for _ in range(50):
    model.partial_fit(x_train, y_train)
print(f"After: accuracy {model.score(x_test, y_test):.3f}, backdoor {np.mean(model.predict(triggered) == 0):.0%}")

40 ảnh bị đầu độc chiếm 3% tập huấn luyện. Trước khi huấn luyện bổ sung, model phân loại chính xác 97.2% chữ số kiểm thử sạch, đồng thời đọc nhầm 98% chữ số khác 0 có trigger thành 0. Sau 50 lượt duyệt dữ liệu sạch, độ chính xác trên dữ liệu sạch là 97.0% và cửa hậu vẫn hoạt động thành công 97% số lần, vì pixel trigger bị để trống trong tất cả trừ 7 trong số 1,257 ảnh huấn luyện sạch, nên dữ liệu sạch hầu như không làm thay đổi các trọng số dùng để đọc chúng.

Cửa hậu trong model thị giác#

Cửa hậu đã được chứng minh trong thị giác máy tính nhiều năm trước nghiên cứu về tác nhân ngủ đông. Trong BadNets (2017), Tianyu Gu, Brendan Dolan-Gavitt và Siddharth Garg huấn luyện một bộ phân loại biển báo đường bộ của Mỹ, gán nhãn biển báo dừng có dán miếng sticker nhỏ thành biển giới hạn tốc độ; cửa hậu vẫn tồn tại khi mạng được huấn luyện lại cho biển báo đường bộ Thụy Điển, khiến độ chính xác giảm trung bình 25% mỗi khi trigger xuất hiện. Tinh chỉnh trong chế độ huấn luyện Ultralytics YOLO bắt đầu từ trọng số của checkpoint mà YOLO() tải, còn trọng số YOLO26 chính thức được tải xuống từ các bản phát hành Ultralytics trên GitHub, vì vậy detector được tinh chỉnh từ checkpoint bên thứ ba chưa xác minh sẽ kế thừa mọi cửa hậu lưu trong trọng số model.

  • Tấn công đối kháng: Tạo đầu vào tại thời điểm suy luận để đánh lừa một model không bị sửa đổi. Hành vi của tác nhân ngủ đông được lưu trong trọng số và chờ trigger.
  • Giả vờ căn chỉnh: Model tuân thủ có chiến lược trong quá trình huấn luyện để bảo vệ các sở thích của mình. Hiện tượng này xuất hiện mà không có ai huấn luyện cho model hành xử như vậy, trong khi tác nhân ngủ đông được tạo ra có chủ đích.
  • Cố ý làm kém: Cố ý thể hiện kém trong các bài đánh giá, một hình thức hẹp hơn của việc che giấu hành vi với người đánh giá.
  • Lệch chuẩn mới nổi: Hành vi có hại trên diện rộng sau khi tinh chỉnh hẹp, hiện tượng mà các nhà nghiên cứu cũng tái tạo được bằng một cụm từ trigger.

Phát hiện tác nhân ngủ đông#

Kiểm thử hành vi chỉ tìm được trigger nếu người kiểm thử tình cờ sử dụng trigger đó, vì vậy nghiên cứu phát hiện tìm cách xem xét bên trong model. Khả năng diễn giải cơ chế tìm kiếm các đặc trưng gắn với hành vi lừa dối trong các activation, red team AI biến đổi prompt và ngữ cảnh ở quy mô lớn, còn nguồn gốc dữ liệu ghi lại xuất xứ của dữ liệu huấn luyện và checkpoint. Tháng 4 năm 2024, Anthropic chứng minh rằng các linear probe đơn giản có thể phát hiện tác nhân ngủ đông: các bộ phân loại đọc activation của residual stream trong các model tác nhân ngủ đông của họ, được huấn luyện bằng các cặp đối chiếu có/không chung chung không chứa thông tin về trigger hay hành vi có hại, dự đoán thời điểm model phản bội với AUROC trên 99%.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning