Superalignment
Superalignment là bài toán căn chỉnh các hệ thống AI thông minh hơn những người giám sát chúng; bài toán này được nghiên cứu thông qua khái quát hóa từ yếu đến mạnh và giám sát.
Siêu căn chỉnh là bài toán căn chỉnh các hệ thống AI có năng lực vượt xa con người giám sát chúng; đây cũng là tên chương trình nghiên cứu OpenAI khởi động năm 2023 để giải quyết bài toán đó. Các phương pháp căn chỉnh hiện nay, chẳng hạn học tăng cường từ phản hồi của con người (RLHF), dựa vào con người để đánh giá đầu ra nào của model tốt hơn. Khi model viết mã, chứng minh hoặc kế hoạch mà người giám sát không thể kiểm tra đáng tin cậy, những đánh giá đó không còn là tín hiệu huấn luyện đáng tin cậy; model có thể học cách tạo ra câu trả lời có vẻ đúng với người đánh giá thay vì câu trả lời thực sự đúng. Nghiên cứu siêu căn chỉnh tìm cách giám sát, kiểm tra và hiệu chỉnh các hệ thống như vậy.
Nguồn gốc thuật ngữ#
OpenAI giới thiệu khái niệm siêu căn chỉnh vào ngày 5 tháng 7 năm 2023, với một nhóm do nhà khoa học trưởng Ilya Sutskever và trưởng bộ phận căn chỉnh Jan Leike đồng lãnh đạo. Công ty cam kết dành 20% năng lực tính toán đã huy động được tính đến thời điểm đó, đồng thời đặt mục tiêu giải quyết các thách thức kỹ thuật cốt lõi của việc căn chỉnh siêu trí tuệ trong vòng bốn năm. Kế hoạch của công ty là xây dựng một nhà nghiên cứu căn chỉnh tự động có năng lực xấp xỉ con người, rồi mở rộng hoạt động nghiên cứu đó bằng thêm năng lực tính toán. OpenAI giải thể nhóm vào tháng 5 năm 2024 sau khi cả hai lãnh đạo rời công ty; thuật ngữ này vẫn được dùng để chỉ bài toán nói chung.
Siêu căn chỉnh là một nhánh của căn chỉnh AI. Căn chỉnh bao quát mọi hệ thống theo đuổi ý định của người thiết kế, thông qua các phương pháp như RLHF, AI hiến pháp và tối ưu hóa sở thích trực tiếp, vốn giả định rằng con người hoặc các quy tắc do con người viết có thể đánh giá đầu ra. Siêu căn chỉnh tập trung vào trường hợp giả định đó không còn đúng, điều có thể xảy ra với các hệ thống vượt trình độ con người, chẳng hạn trí tuệ nhân tạo tổng quát (AGI) và siêu trí tuệ trong tương lai. Đây là một phần của an toàn AI, cùng với các nghiên cứu về hành vi sử dụng sai mục đích và sự cố.
Khái quát hóa từ yếu đến mạnh#
Vì các model siêu phàm chưa tồn tại, bài báo đầu tiên của nhóm, Khái quát hóa từ yếu đến mạnh của Collin Burns và các đồng nghiệp vào tháng 12 năm 2023, nghiên cứu một phép tương tự: model nhỏ đóng vai người giám sát, còn model nền tảng lớn đóng vai học viên siêu phàm. Khi GPT-4 chỉ được tinh chỉnh trên các nhãn do một người giám sát có năng lực ngang GPT-2 tạo ra, model này liên tục vượt người giám sát nhưng vẫn kém xa năng lực tối đa của chính nó. Việc bổ sung thành phần mất mát phụ về độ tin cậy, khuyến khích học viên đưa ra dự đoán tự tin ngay cả khi dự đoán đó trái với nhãn yếu, đã khôi phục hiệu năng gần mức GPT-3.5 trên các tác vụ xử lý ngôn ngữ tự nhiên (NLP).
Bài báo đo lường thành công bằng tỷ lệ khôi phục khoảng cách hiệu năng (PGR): phần khoảng cách độ chính xác giữa người giám sát yếu và model mạnh được huấn luyện trên nhãn đúng mà học viên được giám sát yếu thu hẹp. Có thể chạy cùng thí nghiệm ở quy mô nhỏ bằng scikit-learn, sử dụng cây quyết định nông làm người giám sát yếu và máy vector hỗ trợ (SVM) làm học viên mạnh:
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier
x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)
# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)
# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)
weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")Cây phân loại đúng 69.0% chữ số trong tập kiểm thử; SVM chỉ được huấn luyện trên nhãn của cây đạt 81.9%, khôi phục 45% khoảng cách so với mức 97.4% của SVM được huấn luyện trên nhãn đúng. Học viên vượt người giám sát vì các lỗi của cây tuân theo những phép chia căn theo trục mà SVM được chính quy hóa khó khớp, nên nhiều lỗi không chuyển thành dự đoán sai của SVM. Ultralytics Platform đặt ra câu hỏi tương tự ở quy mô nhỏ: Chú thích theo lô gán nhãn toàn bộ tập dữ liệu bằng một model; model YOLO26 được huấn luyện sau đó trên các nhãn ấy chỉ có thể vượt model gán nhãn nếu không sao chép các lỗi của model đó.
Các phương pháp khác#
Huấn luyện từ yếu đến mạnh là một trong nhiều hướng nghiên cứu. Giám sát có thể mở rộng giúp người giám sát là con người bằng AI: trong tranh luận AI, do Geoffrey Irving, Paul Christiano và Dario Amodei đề xuất năm 2018, hai model tranh luận về các câu trả lời đối lập trước một thẩm phán là con người, dựa trên giả thuyết rằng nói dối khó hơn bác bỏ lời nói dối. Thí nghiệm bắc cầu kiểm tra các phương pháp giám sát trên những tác vụ mà người không chuyên được model hỗ trợ phải đưa ra đánh giá tương đương chuyên gia; đánh giá của chuyên gia đóng vai trò đáp án đúng.
Các nghiên cứu khác tìm cách kiểm tra những gì model tính toán thay vì chỉ xem đầu ra. Diễn giải cơ chế và autoencoder thưa tìm kiếm các đặc trưng nội tại gắn với hành vi lừa dối; các nhà nghiên cứu cũng cố ý xây dựng model lệch căn chỉnh, chẳng hạn tác nhân ngủ có cửa hậu, để kiểm tra xem phương pháp phát hiện có nhận ra chúng hay không. Những hành vi mà model siêu phàm có thể khai thác trên quy mô lớn đã xuất hiện trong các mô hình ngôn ngữ lớn (LLM) hiện nay, bao gồm giả vờ căn chỉnh trong quá trình huấn luyện, cố ý đạt kết quả kém khi đánh giá và khai thác phần thưởng.
Burns và các đồng nghiệp xem việc bắt chước là một thiếu sót lớn trong phép tương tự của họ. GPT-4 chưa từng được tiền huấn luyện để bắt chước GPT-2, và các học viên lớn hơn gặp khó khăn hơn khi bắt chước người giám sát yếu; trong khi đó, một model siêu phàm được tiền huấn luyện trên dữ liệu của con người được kỳ vọng sẽ bắt chước người giám sát là con người rất tốt, lặp lại lỗi của họ và chỉ tạo ra câu trả lời ở trình độ con người.










