Constitutional AI nhằm mục đích căn chỉnh các mô hình AI với giá trị con người

Trí tuệ nhân tạo (AI) đang nhanh chóng trở thành một phần quan trọng trong cuộc sống hàng ngày của chúng ta. Nó đang được tích hợp vào các công cụ được sử dụng trong các lĩnh vực như chăm sóc sức khỏe, tuyển dụng, tài chính và an toàn công cộng. Khi các hệ thống này mở rộng, những lo ngại về đạo đức và độ tin cậy của chúng cũng bắt đầu được nêu ra.

Ví dụ, đôi khi các hệ thống AI được xây dựng mà không xem xét đến tính công bằng hoặc an toàn có thể tạo ra các kết quả bị thiên kiến hoặc thiếu tin cậy. Điều này là do nhiều mô hình vẫn chưa có cách rõ ràng để phản ánh và căn chỉnh theo các giá trị nhân văn.

Để giải quyết những thách thức này, các nhà nghiên cứu hiện đang khám phá một phương pháp gọi là constitutional AI. Nói một cách đơn giản, phương pháp này đưa ra một bộ nguyên tắc bằng văn bản vào quá trình huấn luyện của model. Các nguyên tắc này giúp model tự đánh giá hành vi của chính mình, giảm bớt sự phụ thuộc vào phản hồi từ con người, đồng thời giúp các phản hồi trở nên an toàn hơn và dễ hiểu hơn.

Cho đến nay, phương pháp này chủ yếu được áp dụng đối với large language models (LLMs). Tuy nhiên, cấu trúc tương tự cũng có thể giúp định hướng các hệ thống computer vision đưa ra các quyết định đạo đức trong quá trình phân tích dữ liệu hình ảnh.

Trong bài viết này, chúng ta sẽ khám phá cách thức hoạt động của constitutional AI, xem xét các ví dụ thực tế và thảo luận về các ứng dụng tiềm năng của nó trong các hệ thống computer vision.

Hình 1. Các đặc điểm của constitutional AI. Hình ảnh bởi tác giả.

Constitutional AI là gì?#

Constitutional AI là một phương pháp model training nhằm định hướng cách thức hoạt động của các AI model bằng cách cung cấp một bộ quy tắc đạo đức rõ ràng. Các quy tắc này đóng vai trò như một bộ quy tắc ứng xử. Thay vì dựa vào việc model tự suy luận điều gì là chấp nhận được, nó tuân theo một bộ nguyên tắc bằng văn bản giúp định hình các phản hồi của mình trong suốt quá trình training.

Khái niệm này được giới thiệu bởi Anthropic, một công ty nghiên cứu tập trung vào an toàn AI, đơn vị đã phát triển dòng LLM Claude như một phương pháp giúp các hệ thống AI tự giám sát tốt hơn trong quá trình ra quyết định.

Thay vì chỉ dựa vào phản hồi của con người, mô hình học cách phê bình và tinh chỉnh các phản hồi của chính mình dựa trên một bộ nguyên tắc được xác định trước. Cách tiếp cận này tương tự như một hệ thống pháp luật, nơi một thẩm phán tham khảo hiến pháp trước khi đưa ra phán quyết.

Trong trường hợp này, model đóng vai trò vừa là trọng tài vừa là học viên, sử dụng cùng một bộ quy tắc để xem xét và tinh chỉnh hành vi của chính nó. Quá trình này củng cố sự căn chỉnh của AI model và hỗ trợ việc phát triển các hệ thống AI an toàn và responsible.

Constitutional AI hoạt động như thế nào?#

Mục tiêu của constitutional AI là dạy cho một mô hình AI cách đưa ra các quyết định an toàn và công bằng bằng cách tuân theo một bộ quy tắc bằng văn bản rõ ràng. Dưới đây là tóm tắt đơn giản về cách quy trình này hoạt động:

• Xác định hiến pháp: Một danh sách các nguyên tắc đạo đức bằng văn bản mà mô hình cần tuân theo được tạo ra. Hiến pháp phác thảo những gì AI nên tránh và những giá trị nào nó nên phản ánh.
• Training with supervised examples: Model được cho xem các mẫu phản hồi tuân thủ hiến pháp. Các ví dụ này giúp AI hiểu được hành vi chấp nhận được trông như thế nào.
• Nhận diện và áp dụng các khuôn mẫu: Theo thời gian, mô hình bắt đầu nắm bắt được các khuôn mẫu này. Nó học cách áp dụng các giá trị tương tự khi trả lời các câu hỏi mới hoặc xử lý các tình huống mới.
• Phê bình và tinh chỉnh đầu ra: Mô hình xem xét các phản hồi của chính mình và điều chỉnh chúng dựa trên hiến pháp. Giai đoạn tự đánh giá này giúp nó cải thiện mà không chỉ dựa vào phản hồi của con người.
• Tạo ra các phản hồi an toàn và được căn chỉnh: Mô hình học từ các quy tắc nhất quán, giúp giảm bớt thiên kiến và cải thiện độ tin cậy trong thực tế sử dụng. Cách tiếp cận này giúp AI căn chỉnh tốt hơn với các giá trị nhân văn và dễ quản lý hơn.

Hình 2. Tổng quan về việc sử dụng AI theo hiến pháp để huấn luyện các model.

Các nguyên tắc cốt lõi của thiết kế AI đạo đức#

Để một AI model có thể tuân thủ các ethical rules, những quy tắc đó cần phải được xác định rõ ràng trước tiên. Khi nói đến constitutional AI, các quy tắc này dựa trên một tập hợp các nguyên tắc cốt lõi.

Ví dụ, dưới đây là bốn nguyên tắc tạo nên nền tảng của một hiến pháp AI hiệu quả:

• Transparency: Việc hiểu cách model đưa ra câu trả lời phải thật dễ dàng. Nếu một phản hồi dựa trên các dữ kiện, ước tính hoặc mẫu, điều đó sẽ được thể hiện minh bạch với người dùng. Điều này tạo dựng niềm tin và giúp mọi người đánh giá xem họ có thể dựa vào kết quả đầu ra của model hay không.
• Sự bình đẳng: Các phản hồi nên duy trì tính nhất quán giữa những người dùng khác nhau. Mô hình không nên thay đổi đầu ra dựa trên tên, xuất thân hoặc vị trí của một người. Sự bình đẳng giúp ngăn ngừa thiên kiến và thúc đẩy sự đối xử công bằng.
• Trách nhiệm giải trình: Cần có cách để truy xuất nguồn gốc cách một mô hình được đào tạo và điều gì đã ảnh hưởng đến hành vi của nó. Khi có sự cố xảy ra, các nhóm cần có khả năng xác định nguyên nhân và cải thiện nó. Điều này hỗ trợ tính minh bạch và trách nhiệm giải trình lâu dài.
• Tính an toàn: Các mô hình cần tránh tạo ra nội dung có thể gây hại. Nếu một yêu cầu dẫn đến các đầu ra rủi ro hoặc không an toàn, hệ thống phải nhận diện được điều đó và dừng lại. Điều này bảo vệ cả người dùng và sự toàn vẹn của hệ thống.

Ví dụ về constitutional AI trong các mô hình ngôn ngữ lớn#

Constitutional AI đã chuyển từ lý thuyết sang thực tiễn và hiện đang dần được sử dụng trong các model lớn tương tác với hàng triệu người dùng. Hai trong số các ví dụ phổ biến nhất là các LLM từ OpenAI và Anthropic.

Mặc dù cả hai tổ chức đều có cách tiếp cận khác nhau để tạo ra các hệ thống AI đạo đức hơn, họ đều chia sẻ một ý tưởng chung: dạy cho mô hình tuân theo một bộ nguyên tắc hướng dẫn bằng văn bản. Hãy cùng xem xét kỹ hơn các ví dụ này.

Cách tiếp cận constitutional AI của OpenAI#

OpenAI đã giới thiệu một tài liệu có tên là Model Spec như một phần của quy trình đào tạo cho các mô hình ChatGPT của mình. Tài liệu này đóng vai trò như một hiến pháp. Nó phác thảo những gì mô hình nên hướng tới trong các phản hồi của mình, bao gồm các giá trị như tính hữu ích, trung thực và an toàn. Nó cũng xác định những gì được coi là đầu ra có hại hoặc gây hiểu lầm.

Khung này đã được sử dụng để fine-tune các model của OpenAI bằng cách chấm điểm các phản hồi dựa trên mức độ phù hợp với các quy tắc. Theo thời gian, điều này đã giúp định hình ChatGPT để nó tạo ra ít kết quả độc hại hơn và căn chỉnh tốt hơn với những gì người dùng thực sự mong muốn.

Fig 3. Một ví dụ về việc ChatGPT sử dụng Model Spec của OpenAI để phản hồi.

Các mô hình AI đạo đức của Anthropic#

Hiến pháp mà mô hình Claude của Anthropic tuân theo dựa trên các nguyên tắc đạo đức từ các nguồn như Tuyên ngôn Quốc tế Nhân quyền, các hướng dẫn nền tảng như điều khoản dịch vụ của Apple, và nghiên cứu từ các phòng thí nghiệm AI khác. Các nguyên tắc này giúp đảm bảo rằng các phản hồi của Claude là an toàn, công bằng và căn chỉnh với các giá trị nhân văn quan trọng.

Claude cũng sử dụng Reinforcement Learning from AI Feedback (RLAIF), trong đó nó xem xét và điều chỉnh các phản hồi của chính mình dựa trên các hướng dẫn đạo đức này, thay vì dựa vào human feedback. Quá trình này cho phép Claude cải thiện theo thời gian, giúp nó có khả năng mở rộng tốt hơn và xuất sắc hơn trong việc cung cấp các câu trả lời hữu ích, có đạo đức và không độc hại, ngay cả trong các tình huống phức tạp.

Fig 4. Hiểu về phương pháp tiếp cận constitutional AI của Anthropic.

Áp dụng constitutional AI vào computer vision#

Vì constitutional AI đang ảnh hưởng tích cực đến cách hành xử của các mô hình ngôn ngữ, điều này tự nhiên dẫn đến câu hỏi: Liệu một cách tiếp cận tương tự có thể giúp các hệ thống dựa trên hình ảnh phản hồi công bằng và an toàn hơn không?

Mặc dù các computer vision models xử lý hình ảnh thay vì văn bản, nhu cầu về định hướng đạo đức cũng quan trọng không kém. Ví dụ, tính công bằng và thiên vị là các yếu tố quan trọng cần xem xét, vì các hệ thống này cần được huấn luyện để đối xử công bằng với mọi người và tránh các kết quả độc hại hoặc bất công khi phân tích dữ liệu hình ảnh.

Hình 5. Các thách thức đạo đức liên quan đến computer vision. Hình ảnh bởi tác giả.

Hiện tại, việc sử dụng các phương pháp constitutional AI trong computer vision vẫn đang được khám phá và đang ở giai đoạn đầu, với các nghiên cứu đang diễn ra trong lĩnh vực này.

Ví dụ, Meta gần đây đã giới thiệu CLUE, một khung áp dụng lý luận giống như hiến pháp cho các tác vụ an toàn hình ảnh. Nó chuyển các quy tắc an toàn diện rộng thành các bước chính xác mà multimodal AI (các hệ thống AI xử lý và hiểu nhiều loại dữ liệu khác nhau) có thể tuân theo. Điều này giúp hệ thống suy luận rõ ràng hơn và giảm thiểu các kết quả độc hại.

Ngoài ra, CLUE giúp các đánh giá về an toàn hình ảnh hiệu quả hơn bằng cách đơn giản hóa các quy tắc phức tạp, cho phép các mô hình AI hành động nhanh chóng và chính xác mà không cần nhiều sự đầu vào từ con người. Bằng cách sử dụng một bộ nguyên tắc hướng dẫn, CLUE làm cho các hệ thống kiểm duyệt hình ảnh có khả năng mở rộng tốt hơn trong khi vẫn đảm bảo kết quả chất lượng cao.

Các điểm chính cần lưu ý#

Khi các hệ thống AI đảm nhận nhiều trách nhiệm hơn, trọng tâm đang chuyển dịch từ việc chúng có thể làm gì sang việc chúng nên làm gì. Sự chuyển dịch này là then chốt vì các hệ thống này được sử dụng trong các lĩnh vực tác động trực tiếp đến cuộc sống con người, như chăm sóc sức khỏe, thực thi pháp luật và giáo dục.

Để đảm bảo các hệ thống AI hành động một cách phù hợp và có đạo đức, chúng cần một nền tảng vững chắc và nhất quán. Nền tảng này nên ưu tiên tính công bằng, an toàn và tin cậy.

Một hiến pháp bằng văn bản có thể cung cấp nền tảng đó trong quá trình đào tạo, định hướng quy trình ra quyết định của hệ thống. Nó cũng có thể cung cấp cho các nhà phát triển một khung làm việc để xem xét và điều chỉnh hành vi của hệ thống sau khi triển khai, đảm bảo nó tiếp tục căn chỉnh với các giá trị mà nó được thiết kế để duy trì, đồng thời giúp dễ dàng thích nghi hơn khi các thách thức mới nảy sinh.

Hãy tham gia community đang phát triển của chúng tôi ngay hôm nay! Khám phá sâu hơn về AI bằng cách duyệt qua GitHub repository của chúng tôi. Bạn đang tìm cách xây dựng các dự án computer vision của riêng mình? Hãy khám phá các licensing options của chúng tôi. Tìm hiểu cách computer vision in healthcare đang cải thiện hiệu suất và khám phá tác động của AI in manufacturing bằng cách truy cập các trang giải pháp của chúng tôi!