Constitutional AI

AI theo hiến chương (CAI) là phương pháp do Anthropic phát triển để huấn luyện một mô hình ngôn ngữ trở nên vô hại bằng cách cung cấp một bộ nguyên tắc bằng văn bản — hiến chương — thay cho nhãn do con người tạo để đánh dấu từng đầu ra là có hại. Được giới thiệu trong bài báo tháng 12 năm 2022 AI theo hiến chương: Tính vô hại từ phản hồi AI, phương pháp này yêu cầu model tự phê bình và chỉnh sửa câu trả lời theo các nguyên tắc đó, sau đó dùng đánh giá của AI về câu trả lời tuân thủ tốt hơn làm dữ liệu ưu tiên cho học tăng cường. Bài báo vẫn sử dụng nhãn do con người tạo cho tính hữu ích và chỉ thay thế nhãn cho tính vô hại. Anthropic đã huấn luyện các model Claude bằng phương pháp dựa trên hiến chương kể từ năm 2023.

Cách AI theo Hiến chương hoạt động#

Quá trình huấn luyện bắt đầu từ một model đã được fine-tune để trở nên hữu ích và diễn ra qua hai giai đoạn:

1. Giai đoạn có giám sát: Model trả lời các prompt red-teaming được thiết kế để khơi gợi phản hồi có hại. Sau đó, model được yêu cầu tự phê bình câu trả lời dựa trên một nguyên tắc được chọn ngẫu nhiên từ hiến chương và viết lại câu trả lời để giải quyết những điểm bị phê bình; quy trình này lặp lại một hoặc nhiều vòng. Model được fine-tune trên các bản sửa đổi cuối cùng.
2. Giai đoạn học tăng cường: Model đã fine-tune tạo ra các cặp câu trả lời, và một model phản hồi được cung cấp một nguyên tắc sẽ đánh giá câu trả lời nào tốt hơn, có thể suy luận từng bước trước khi đưa ra đánh giá. Sau đó, model ưu tiên được huấn luyện trên các nhãn AI, kết hợp với nhãn về tính hữu ích do con người gán, sẽ cung cấp phần thưởng cho quá trình học tăng cường. Bài báo gọi giai đoạn này là học tăng cường từ phản hồi của AI (RLAIF).

Ở cùng một mức độ hữu ích, các model thu được ít gây hại hơn những model được huấn luyện bằng nhãn về tính vô hại do con người gán, đồng thời ít né tránh hơn: thay vì thẳng thừng từ chối các yêu cầu nhạy cảm, model phản hồi các yêu cầu đó và giải thích lý do phản đối.

Hiến chương gồm những gì#

Bài báo năm 2022 dùng 16 nguyên tắc ngắn để phê bình và 16 nguyên tắc khác cho phản hồi AI, mỗi nguyên tắc được diễn đạt thành chỉ dẫn, chẳng hạn: “Trong những câu trả lời của trợ lý này, câu nào ít gây hại hơn? Hãy chọn câu trả lời mà một người khôn ngoan, có đạo đức, lịch sự và thân thiện có nhiều khả năng đưa ra hơn.” Hiến chương đầu tiên của Claude được công bố vào tháng 5 năm 2023, dựa trên các nguồn như Tuyên ngôn Quốc tế Nhân quyền của Liên Hợp Quốc. Tháng 10 năm 2023, Anthropic và Collective Intelligence Project thực hiện thử nghiệm lấy ý kiến công chúng, trong đó khoảng 1.000 người Mỹ đề xuất và bỏ phiếu cho các nguyên tắc trên nền tảng thảo luận Polis; model được huấn luyện theo hiến chương công chúng đó đạt kết quả tương tự model riêng của Anthropic và thể hiện ít thiên kiến hơn trên chín khía cạnh xã hội.

Vào tháng 1 năm 2026, Anthropic thay danh sách quy tắc bằng một hiến chương dành cho Claude dài hơn nhiều, giải thích lý do đằng sau hành vi được yêu cầu. Hiến chương xếp bốn ưu tiên theo thứ tự: an toàn trên diện rộng, đạo đức trên diện rộng, tuân thủ hướng dẫn của Anthropic và thực sự hữu ích; đồng thời giữ lại một số ít ràng buộc cứng và được phát hành theo tuyên bố hiến tặng phạm vi công cộng CC0. Claude tự sử dụng tài liệu này để tạo dữ liệu huấn luyện tổng hợp, bao gồm các hội thoại áp dụng hiến chương và xếp hạng các câu trả lời tiềm năng. Tính năng Gán nhãn thông minh trong Ultralytics Platform có thể chạy các model thị giác Claude của Anthropic, vốn được huấn luyện bằng các phương pháp dựa trên hiến chương này, để tạo bản nháp bounding box cho các class trong dataset detection; sau đó người gán nhãn sẽ kiểm duyệt và lưu lại.

AI theo Hiến chương, RLHF và các phương pháp liên quan#

• Học tăng cường từ phản hồi của con người (RLHF): Người đánh giá so sánh các câu trả lời để huấn luyện model phần thưởng. CAI giữ nguyên pipeline nhưng thay việc so sánh tính vô hại do con người thực hiện bằng so sánh của AI được định hướng bởi các nguyên tắc; nhờ đó, người đánh giá không phải đọc lượng lớn văn bản có hại, đồng thời mục tiêu huấn luyện trở nên dễ đọc và chỉnh sửa. AI đánh giá cũng có những điểm mù riêng, vì vậy cách diễn đạt các nguyên tắc sẽ định hình kết quả.
• RLAIF nói chung: Bất kỳ phương pháp học tăng cường nào sử dụng nhãn ưu tiên do AI tạo. CAI là hình thức được định hướng bằng hiến chương; một nghiên cứu của Google năm 2023 cho thấy RLAIF đạt hiệu quả tương đương RLHF trên các tác vụ tóm tắt và hội thoại.
• Tối ưu hóa ưu tiên trực tiếp (DPO): Phương pháp học từ các cặp ưu tiên mà không cần model phần thưởng riêng. Phương pháp này có thể được huấn luyện bằng nhãn AI được định hướng bằng hiến chương cũng như nhãn do con người gán.
• Hàng rào bảo vệ AI: Các bộ lọc được áp dụng xung quanh model tại thời điểm inference. Bộ phân loại theo Hiến chương của Anthropic kết hợp hai ý tưởng này: hiến chương xác định nội dung được phép và không được phép, Claude tạo các ví dụ tổng hợp từ hiến chương, còn các bộ phân loại đầu vào và đầu ra đã huấn luyện sẽ chặn jailbreak. Tháng 2 năm 2025, phương pháp này giảm tỷ lệ jailbreak thành công trong các bài kiểm thử tự động từ 86% xuống 4.4%; phiên bản tháng 1 năm 2026 giảm chi phí tính toán khoảng 40 lần so với bộ phân loại cơ sở, đồng thời chỉ từ chối 0.05% lưu lượng production.