Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Superalignment

Superalignment là bài toán căn chỉnh các hệ thống AI thông minh hơn những người giám sát chúng; bài toán này được nghiên cứu thông qua khái quát hóa từ yếu đến mạnh và giám sát.

Siêu căn chỉnh là bài toán căn chỉnh các hệ thống AI có năng lực vượt xa con người giám sát chúng; đây cũng là tên chương trình nghiên cứu OpenAI khởi động năm 2023 để giải quyết bài toán đó. Các phương pháp căn chỉnh hiện nay, chẳng hạn học tăng cường từ phản hồi của con người (RLHF), dựa vào con người để đánh giá đầu ra nào của model tốt hơn. Khi model viết mã, chứng minh hoặc kế hoạch mà người giám sát không thể kiểm tra đáng tin cậy, những đánh giá đó không còn là tín hiệu huấn luyện đáng tin cậy; model có thể học cách tạo ra câu trả lời có vẻ đúng với người đánh giá thay vì câu trả lời thực sự đúng. Nghiên cứu siêu căn chỉnh tìm cách giám sát, kiểm tra và hiệu chỉnh các hệ thống như vậy.

Nguồn gốc thuật ngữ#

OpenAI giới thiệu khái niệm siêu căn chỉnh vào ngày 5 tháng 7 năm 2023, với một nhóm do nhà khoa học trưởng Ilya Sutskever và trưởng bộ phận căn chỉnh Jan Leike đồng lãnh đạo. Công ty cam kết dành 20% năng lực tính toán đã huy động được tính đến thời điểm đó, đồng thời đặt mục tiêu giải quyết các thách thức kỹ thuật cốt lõi của việc căn chỉnh siêu trí tuệ trong vòng bốn năm. Kế hoạch của công ty là xây dựng một nhà nghiên cứu căn chỉnh tự động có năng lực xấp xỉ con người, rồi mở rộng hoạt động nghiên cứu đó bằng thêm năng lực tính toán. OpenAI giải thể nhóm vào tháng 5 năm 2024 sau khi cả hai lãnh đạo rời công ty; thuật ngữ này vẫn được dùng để chỉ bài toán nói chung.

Siêu căn chỉnh là một nhánh của căn chỉnh AI. Căn chỉnh bao quát mọi hệ thống theo đuổi ý định của người thiết kế, thông qua các phương pháp như RLHF, AI hiến pháp và tối ưu hóa sở thích trực tiếp, vốn giả định rằng con người hoặc các quy tắc do con người viết có thể đánh giá đầu ra. Siêu căn chỉnh tập trung vào trường hợp giả định đó không còn đúng, điều có thể xảy ra với các hệ thống vượt trình độ con người, chẳng hạn trí tuệ nhân tạo tổng quát (AGI) và siêu trí tuệ trong tương lai. Đây là một phần của an toàn AI, cùng với các nghiên cứu về hành vi sử dụng sai mục đích và sự cố.

Khái quát hóa từ yếu đến mạnh#

Vì các model siêu phàm chưa tồn tại, bài báo đầu tiên của nhóm, Khái quát hóa từ yếu đến mạnh của Collin Burns và các đồng nghiệp vào tháng 12 năm 2023, nghiên cứu một phép tương tự: model nhỏ đóng vai người giám sát, còn model nền tảng lớn đóng vai học viên siêu phàm. Khi GPT-4 chỉ được tinh chỉnh trên các nhãn do một người giám sát có năng lực ngang GPT-2 tạo ra, model này liên tục vượt người giám sát nhưng vẫn kém xa năng lực tối đa của chính nó. Việc bổ sung thành phần mất mát phụ về độ tin cậy, khuyến khích học viên đưa ra dự đoán tự tin ngay cả khi dự đoán đó trái với nhãn yếu, đã khôi phục hiệu năng gần mức GPT-3.5 trên các tác vụ xử lý ngôn ngữ tự nhiên (NLP).

Bài báo đo lường thành công bằng tỷ lệ khôi phục khoảng cách hiệu năng (PGR): phần khoảng cách độ chính xác giữa người giám sát yếu và model mạnh được huấn luyện trên nhãn đúng mà học viên được giám sát yếu thu hẹp. Có thể chạy cùng thí nghiệm ở quy mô nhỏ bằng scikit-learn, sử dụng cây quyết định nông làm người giám sát yếu và máy vector hỗ trợ (SVM) làm học viên mạnh:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

Cây phân loại đúng 69.0% chữ số trong tập kiểm thử; SVM chỉ được huấn luyện trên nhãn của cây đạt 81.9%, khôi phục 45% khoảng cách so với mức 97.4% của SVM được huấn luyện trên nhãn đúng. Học viên vượt người giám sát vì các lỗi của cây tuân theo những phép chia căn theo trục mà SVM được chính quy hóa khó khớp, nên nhiều lỗi không chuyển thành dự đoán sai của SVM. Ultralytics Platform đặt ra câu hỏi tương tự ở quy mô nhỏ: Chú thích theo lô gán nhãn toàn bộ tập dữ liệu bằng một model; model YOLO26 được huấn luyện sau đó trên các nhãn ấy chỉ có thể vượt model gán nhãn nếu không sao chép các lỗi của model đó.

Các phương pháp khác#

Huấn luyện từ yếu đến mạnh là một trong nhiều hướng nghiên cứu. Giám sát có thể mở rộng giúp người giám sát là con người bằng AI: trong tranh luận AI, do Geoffrey Irving, Paul Christiano và Dario Amodei đề xuất năm 2018, hai model tranh luận về các câu trả lời đối lập trước một thẩm phán là con người, dựa trên giả thuyết rằng nói dối khó hơn bác bỏ lời nói dối. Thí nghiệm bắc cầu kiểm tra các phương pháp giám sát trên những tác vụ mà người không chuyên được model hỗ trợ phải đưa ra đánh giá tương đương chuyên gia; đánh giá của chuyên gia đóng vai trò đáp án đúng.

Các nghiên cứu khác tìm cách kiểm tra những gì model tính toán thay vì chỉ xem đầu ra. Diễn giải cơ chế và autoencoder thưa tìm kiếm các đặc trưng nội tại gắn với hành vi lừa dối; các nhà nghiên cứu cũng cố ý xây dựng model lệch căn chỉnh, chẳng hạn tác nhân ngủ có cửa hậu, để kiểm tra xem phương pháp phát hiện có nhận ra chúng hay không. Những hành vi mà model siêu phàm có thể khai thác trên quy mô lớn đã xuất hiện trong các mô hình ngôn ngữ lớn (LLM) hiện nay, bao gồm giả vờ căn chỉnh trong quá trình huấn luyện, cố ý đạt kết quả kém khi đánh giá và khai thác phần thưởng.

Burns và các đồng nghiệp xem việc bắt chước là một thiếu sót lớn trong phép tương tự của họ. GPT-4 chưa từng được tiền huấn luyện để bắt chước GPT-2, và các học viên lớn hơn gặp khó khăn hơn khi bắt chước người giám sát yếu; trong khi đó, một model siêu phàm được tiền huấn luyện trên dữ liệu của con người được kỳ vọng sẽ bắt chước người giám sát là con người rất tốt, lặp lại lỗi của họ và chỉ tạo ra câu trả lời ở trình độ con người.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning