Constitutional AI

Constitutional AI는 개별 출력물에 대한 방대한 인간 피드백에 전적으로 의존하는 대신, 인공지능 시스템에 '헌법(constitution)'이라 불리는 일련의 고수준 원칙을 제공함으로써 인간의 가치와 일치하도록 훈련하는 방법입니다. 이 접근 방식은 본질적으로 AI 모델이 '도움이 될 것', '해를 끼치지 말 것', '차별을 피할 것'과 같은 사전 정의된 규칙 집합에 기반하여 스스로의 행동을 비판하고 수정하도록 가르칩니다. 이러한 윤리적 가이드라인을 훈련 과정에 직접 통합함으로써 개발자는 수동적인 Reinforcement Learning from Human Feedback (RLHF)에 의존하는 시스템보다 더 안전하고 투명하며 확장하기 쉬운 시스템을 구축할 수 있습니다.

Link to this sectionConstitutional AI의 메커니즘#

Constitutional AI의 핵심 혁신은 모델의 정렬을 자동화하는 2단계 훈련 과정에 있습니다. 인간이 모든 올바른 응답에 라벨을 지정해야 하는 전통적인 supervised learning과 달리, Constitutional AI는 모델 스스로를 사용하여 훈련 데이터를 생성합니다.

1. Supervised Learning Phase: 모델은 프롬프트에 대한 응답을 생성한 다음, 헌법적 원칙에 따라 자신의 출력을 비판합니다. 모델은 규칙에 더 잘 부합하도록 응답을 수정합니다. 이렇게 정제된 데이터 세트는 모델을 미세 조정(fine-tune)하는 데 사용되어, 모델이 내재적으로 가이드라인을 따르도록 가르칩니다.

2. Reinforcement Learning Phase: Reinforcement Learning from AI Feedback (RLAIF)라고도 불리는 이 단계는 인간 라벨러를 대체합니다. AI는 응답 쌍을 생성하고 헌법을 가장 잘 준수하는 응답을 선택합니다. 이러한 선호 데이터는 보상 모델(reward model)을 훈련시키며, 이는 표준 reinforcement learning 기법을 통해 원하는 행동을 강화합니다.

Link to this section컴퓨터 비전과의 관련성#

While Constitutional AI originated in the context of Large Language Models (LLM) developed by organizations like Anthropic, its principles are increasingly relevant for broader machine learning tasks, including Computer Vision (CV).

• 윤리적 이미지 생성: 이미지 생성을 위한 Generative AI 도구는 폭력적, 혐오적 또는 저작권이 있는 이미지를 생성할 수 있는 프롬프트를 거부하도록 '헌법적'으로 훈련될 수 있습니다. 이를 통해 model weights 자체가 안전 제약 조건을 인코딩하여 유해한 시각적 콘텐츠의 생성을 방지하도록 합니다.
• 안전 핵심 비전 시스템: autonomous vehicles에서 '헌법적' 접근 방식은 의사 결정을 위한 계층적 규칙을 정의할 수 있습니다. 예를 들어, '인간의 안전이 교통 효율성보다 우선한다'는 규칙은 모델이 복잡한 도로 상황을 분석할 때 가이드 역할을 하여, object detection 결과가 안전을 최우선으로 해석되도록 보장합니다.

Link to this section비전 AI에서 정책 검사 구현하기#

전체적인 Constitutional AI 훈련은 복잡한 피드백 루프를 수반하지만, 개발자는 안전 정책에 따라 출력을 필터링하기 위해 inference 중에 '헌법적 검사(constitutional checks)' 개념을 적용할 수 있습니다. 다음 예시는 YOLO26을 사용하여 객체를 감지하고 신뢰도가 낮은 감지 결과를 필터링하는 안전 규칙을 적용함으로써, 신뢰성 헌법을 모방하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'

Link to this sectionConstitutional AI 대 기존의 RLHF#

Constitutional AI를 표준 Reinforcement Learning from Human Feedback (RLHF)와 구별하는 것이 중요합니다.

• 확장성: RLHF는 모델 출력을 평가하기 위해 막대한 양의 인간 노동을 필요로 하며, 이는 비용이 많이 들고 속도가 느립니다. Constitutional AI는 이를 AI agents로 자동화하여 확장성을 크게 높입니다.
• 투명성: RLHF에서 모델은 불투명한 '보상 신호(점수)'로부터 학습하므로 왜 특정 행동이 선호되었는지 알기 어렵습니다. Constitutional AI에서는 비판 단계에서 사용되는 chain of thought prompting을 통해 추론 과정이 명시적으로 드러나며, 특정 문서화된 원칙까지 추적할 수 있습니다.
• 일관성: 인간 평가자는 일관성이 없거나 편향될 수 있습니다. 성문화된 헌법은 AI ethics를 위한 안정적인 기준을 제공하여 정렬 과정에서의 주관성을 줄입니다.

Link to this section정렬의 미래#

모델이 Artificial General Intelligence (AGI)를 향해 진화함에 따라, Constitutional AI와 같은 강력한 정렬 전략의 중요성은 커지고 있습니다. 이러한 방법은 NIST AI Safety Institute와 같은 기관에서 제정하는 새로운 표준을 준수하는 데 필수적입니다.

Ultralytics Platform은 데이터 거버넌스와 model monitoring을 관리하는 도구를 제공하여 책임감 있는 AI 시스템 구축을 촉진합니다. data collection부터 model deployment에 이르기까지 AI 개발 수명 주기 전반에 걸쳐 이러한 윤리적 고려 사항을 통합함으로써, 조직은 위험을 완화하고 기술이 사회에 긍정적으로 기여하도록 보장할 수 있습니다.