Constitutional AI

헌법 기반 AI(CAI)는 Anthropic이 개발한 방법으로, 유해한 개별 출력을 표시하는 사람이 작성한 레이블 대신 헌법이라고 하는 원칙 집합을 모델에 제공해 언어 모델이 무해하게 작동하도록 학습합니다. 2022년 12월 논문 헌법 기반 AI: AI 피드백을 통한 무해성에서 소개된 이 방법은 모델이 원칙에 따라 자체 응답을 평가하고 수정하게 한 다음, 어떤 응답이 원칙을 더 잘 따르는지 AI가 판단한 결과를 강화 학습의 선호도 데이터로 사용합니다. 해당 논문은 유용성에 대해서는 여전히 사람의 레이블을 사용하고 무해성에 대해서만 이를 대체했습니다. Anthropic은 2023년부터 헌법 기반 방법으로 Claude 모델을 학습해 왔습니다.

헌법 기반 AI의 작동 방식#

학습은 유용하도록 이미 미세 조정된 모델에서 시작하며 두 단계로 진행됩니다.

1. 지도 학습 단계: 모델은 유해한 응답을 이끌어내도록 설계된 레드팀 프롬프트에 답합니다. 그런 다음 헌법에서 무작위로 선택한 원칙을 기준으로 자체 답변을 비평하고, 해당 비평을 반영해 답변을 다시 작성하도록 요청받습니다. 이 과정은 한 번 이상 반복할 수 있습니다. 모델은 최종 수정본을 사용해 미세 조정됩니다.
2. 강화 학습 단계: 미세 조정된 모델이 응답 쌍을 생성하고, 원칙을 프롬프트로 제공받은 피드백 모델이 두 응답 중 어느 것이 더 나은지 판단합니다. 이때 먼저 단계별로 추론하도록 설정할 수도 있습니다. 이러한 AI 레이블과 사람의 유용성 레이블을 혼합해 학습한 선호도 모델이 강화 학습의 보상을 제공합니다. 논문에서는 이 단계를 AI 피드백 기반 강화 학습(RLAIF)이라고 명명했습니다.

유용성 수준이 같을 때, 이렇게 만든 모델은 사람의 무해성 레이블로 학습한 모델보다 덜 유해했으며 회피하는 경향도 적었습니다. 민감한 요청을 무조건 거부하는 대신 응답에 참여하고 우려하는 이유를 설명했습니다.

헌법의 구성 내용#

2022년 논문은 비평을 위한 짧은 원칙 16개와 AI 피드백을 위한 원칙 16개를 제시했으며, 각 원칙은 다음과 같은 지시문으로 작성되었습니다. “이 어시스턴트 응답 중 어느 것이 덜 해롭습니까? 현명하고 윤리적이며 예의 바르고 친절한 사람이 할 법한 응답을 선택하세요.” 2023년 5월에 발표된 Claude의 첫 공개 헌장은 UN 세계인권선언을 포함한 자료를 참고했습니다. 2023년 10월, Anthropic과 Collective Intelligence Project는 약 1,000명의 미국인이 Polis 숙의 플랫폼에서 원칙을 제안하고 투표하는 대중 참여 실험을 진행했습니다. 이 대중 헌장으로 학습한 모델은 Anthropic 자체 모델과 비슷한 성능을 보였으며, 사회적 차원 9개 전반에서 편향이 더 적었습니다.

2026년 1월 Anthropic은 규칙 목록을 훨씬 더 긴 Claude 헌법으로 대체했습니다. 이 문서는 요청하는 동작의 근거를 설명합니다. 이 문서는 네 가지 우선순위, 즉 전반적인 안전성, 전반적인 윤리성, Anthropic 지침 준수, 실질적인 유용성을 순서대로 제시하고, 소수의 엄격한 제약을 유지하며, CC0 퍼블릭 도메인 헌정으로 공개되었습니다. Claude는 이 문서를 활용해 헌법이 적용되는 대화와 후보 응답 순위 지정을 포함한 합성 학습 데이터를 생성합니다. Ultralytics Platform의 스마트 어노테이션은 이러한 헌법 기반 방법으로 학습된 Anthropic의 Claude 비전 모델을 실행해 탐지 데이터셋의 클래스에 대한 박스 초안을 생성할 수 있으며, 이후 어노테이터가 이를 검토하고 저장합니다.

헌법 기반 AI와 RLHF 및 관련 방법 비교#

• 사람 피드백 기반 강화 학습(RLHF): 평가자가 응답을 비교해 보상 모델을 학습시킵니다. CAI는 동일한 파이프라인을 유지하면서 사람의 무해성 비교를 원칙에 따라 진행하는 AI 비교로 대체합니다. 이로써 평가자가 방대한 양의 유해한 텍스트를 읽지 않아도 되고, 학습 목표를 확인하고 편집할 수 있습니다. AI 판정에도 자체적인 맹점이 있으므로 원칙의 문구가 결과를 좌우합니다.
• 일반적인 RLAIF: AI가 생성한 선호도 레이블을 사용하는 모든 강화 학습을 말합니다. CAI는 헌법의 지침을 따르는 방식이며, 2023년 Google 연구는 요약 및 대화 작업에서 RLAIF가 RLHF와 비슷한 성능을 보였다고 밝혔습니다.
• 직접 선호도 최적화(DPO): 별도의 보상 모델 없이 선호도 쌍을 학습하는 방법입니다. 헌법의 지침을 따르는 AI 레이블과 사람 레이블을 모두 사용해 학습할 수 있습니다.
• AI 가드레일: 추론 시점에 모델 주변에 적용하는 필터입니다. Anthropic의 헌법 기반 분류기는 두 개념을 결합합니다. 헌법이 허용 및 금지 콘텐츠를 정의하고, Claude가 이를 바탕으로 합성 예제를 생성하며, 학습된 입력 및 출력 분류기가 탈옥 시도를 차단합니다. 2025년 2월 자동화 테스트에서 탈옥 성공률을 86%에서 4.4%로 낮췄으며, 2026년 1월 버전은 기준 분류기보다 컴퓨팅 비용을 약 40배 줄이면서 프로덕션 트래픽의 0.05%만 거부했습니다.