Constitutional AI

Constitutional AI là một phương pháp huấn luyện các hệ thống trí tuệ nhân tạo để căn chỉnh theo các giá trị con người bằng cách cung cấp cho chúng một tập hợp các nguyên tắc cấp cao—một "hiến pháp"—thay vì chỉ dựa vào phản hồi mở rộng từ con người trên từng đầu ra riêng lẻ. Cách tiếp cận này về cơ bản dạy cho mô hình AI cách phê bình và sửa đổi hành vi của chính nó dựa trên một tập hợp các quy tắc được xác định trước, chẳng hạn như "hãy hữu ích", "không gây hại" và "tránh phân biệt đối xử". Bằng cách nhúng các hướng dẫn đạo đức này trực tiếp vào quá trình huấn luyện, các nhà phát triển có thể tạo ra các hệ thống an toàn hơn, minh bạch hơn và dễ mở rộng hơn so với các hệ thống phụ thuộc vào Reinforcement Learning from Human Feedback (RLHF) thủ công.

Link to this sectionCơ chế của Constitutional AI#

Cốt lõi đổi mới của Constitutional AI nằm ở quy trình huấn luyện hai giai đoạn giúp tự động hóa việc căn chỉnh các mô hình. Không giống như supervised learning truyền thống, nơi con người phải gán nhãn cho mọi phản hồi đúng, Constitutional AI sử dụng chính mô hình đó để tạo dữ liệu huấn luyện.

1. Giai đoạn Supervised Learning: Mô hình tạo ra các phản hồi cho các câu lệnh, sau đó phê bình đầu ra của chính nó dựa trên các nguyên tắc hiến pháp. Nó sửa đổi phản hồi để căn chỉnh tốt hơn với các quy tắc. Tập dữ liệu tinh chỉnh này sau đó được sử dụng để tối ưu hóa (fine-tune) mô hình, dạy cho nó cách tuân thủ các hướng dẫn một cách tự nhiên.

2. Giai đoạn Reinforcement Learning: Giai đoạn này, thường được gọi là Reinforcement Learning from AI Feedback (RLAIF), thay thế người gán nhãn là con người. AI tạo ra các cặp phản hồi và chọn ra phản hồi tuân thủ hiến pháp tốt nhất. Dữ liệu ưu tiên này huấn luyện một mô hình phần thưởng, sau đó mô hình này sẽ củng cố các hành vi mong muốn thông qua các kỹ thuật reinforcement learning tiêu chuẩn.

Link to this sectionSự liên quan đến Thị giác máy tính (Computer Vision)#

Mặc dù Constitutional AI bắt nguồn từ ngữ cảnh của Large Language Models (LLM) do các tổ chức như Anthropic phát triển, các nguyên tắc của nó ngày càng trở nên phù hợp cho các tác vụ machine learning rộng hơn, bao gồm Computer Vision (CV).

• Tạo hình ảnh đạo đức: Các công cụ Generative AI dùng để tạo ảnh có thể được huấn luyện theo "hiến pháp" để từ chối các câu lệnh tạo ra hình ảnh bạo lực, thù hận hoặc có bản quyền. Điều này đảm bảo rằng các model weights tự mã hóa các ràng buộc an toàn, ngăn chặn việc tạo ra nội dung hình ảnh có hại.
• Hệ thống thị giác an toàn quan trọng: Trong autonomous vehicles, một cách tiếp cận "hiến pháp" có thể xác định các quy tắc phân cấp cho việc ra quyết định. Ví dụ, một quy tắc nêu rằng "sự an toàn của con người ưu tiên hơn hiệu quả giao thông" có thể hướng dẫn mô hình khi phân tích các cảnh đường bộ phức tạp, đảm bảo rằng các kết quả object detection được diễn giải với sự an toàn là ưu tiên hàng đầu.

Link to this sectionTriển khai kiểm tra chính sách trong Vision AI#

Mặc dù việc huấn luyện Constitutional AI toàn diện bao gồm các vòng lặp phản hồi phức tạp, các nhà phát triển có thể áp dụng khái niệm "kiểm tra hiến pháp" trong quá trình inference để lọc các đầu ra dựa trên các chính sách an toàn. Ví dụ sau đây minh họa việc sử dụng YOLO26 để phát hiện đối tượng và áp dụng một quy tắc an toàn để lọc các kết quả phát hiện có độ tin cậy thấp, mô phỏng một hiến pháp về độ tin cậy.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

Link to this sectionConstitutional AI so với RLHF truyền thống#

Điều quan trọng là phải phân biệt Constitutional AI với Reinforcement Learning from Human Feedback (RLHF) tiêu chuẩn.

• Khả năng mở rộng: RLHF đòi hỏi một lượng lớn lao động con người để đánh giá đầu ra của mô hình, điều này rất tốn kém và chậm chạp. Constitutional AI tự động hóa việc này bằng các AI agents, giúp nó có khả năng mở rộng cao.
• Tính minh bạch: Trong RLHF, mô hình học từ một "tín hiệu phần thưởng" mờ đục (một điểm số), khiến khó biết tại sao một hành vi lại được ưu tiên. Trong Constitutional AI, chain of thought prompting được sử dụng trong giai đoạn phê bình giúp lập luận trở nên rõ ràng và có thể truy xuất nguồn gốc đến các nguyên tắc bằng văn bản cụ thể.
• Tính nhất quán: Những người đánh giá là con người có thể không nhất quán hoặc có thiên kiến. Một hiến pháp bằng văn bản cung cấp một cơ sở ổn định cho AI ethics, giảm bớt tính chủ quan trong quá trình căn chỉnh.

Link to this sectionTương lai của việc căn chỉnh#

Khi các mô hình tiến hóa hướng tới Artificial General Intelligence (AGI), tầm quan trọng của các chiến lược căn chỉnh mạnh mẽ như Constitutional AI ngày càng tăng. Các phương pháp này là cần thiết để tuân thủ các tiêu chuẩn mới nổi từ các cơ quan như NIST AI Safety Institute.

Ultralytics Platform cung cấp các công cụ để quản lý quản trị dữ liệu và model monitoring, tạo điều kiện cho việc xây dựng các hệ thống AI có trách nhiệm. Bằng cách tích hợp các cân nhắc đạo đức này vào vòng đời phát triển AI—từ data collection đến model deployment—các tổ chức có thể giảm thiểu rủi ro và đảm bảo công nghệ của họ đóng góp tích cực cho xã hội.