Constitutional AI

Constitutional AI가 윤리적 원칙을 사용하여 모델을 인간의 가치에 어떻게 맞추는지 탐구해 보십시오. Ultralytics YOLO26를 사용하여 컴퓨터 비전에서 안전 점검을 구현하는 방법을 배우십시오.

Constitutional AI는 개별 출력에 대한 광범위한 인간의 피드백에만 의존하는 대신, 일련의 고수준 원칙(즉, "헌법")을 제공하여 인공지능 시스템이 인간의 가치에 부합하도록 정렬(alignment)하는 학습 방법입니다. 이 접근 방식은 기본적으로 "도움이 될 것", "무해할 것", "차별을 피할 것"과 같은 사전 정의된 규칙 세트를 기반으로 AI 모델이 자신의 행동을 비판하고 수정하도록 가르칩니다. 이러한 윤리적 가이드라인을 학습 과정에 직접 내장함으로써, 개발자는 수동적인 Reinforcement Learning from Human Feedback (RLHF)에 의존하는 시스템보다 더 안전하고, 투명하며, 확장하기 쉬운 시스템을 구축할 수 있습니다.

Constitutional AI의 메커니즘#

Constitutional AI의 핵심 혁신은 모델 정렬을 자동화하는 2단계 학습 과정에 있습니다. 인간이 모든 올바른 응답에 레이블을 지정해야 하는 전통적인 supervised learning과 달리, Constitutional AI는 모델 자체를 사용하여 학습 데이터를 생성합니다.

Supervised Learning Phase: 모델은 프롬프트에 대한 응답을 생성한 다음, 헌법적 원칙에 따라 자신의 출력을 비판합니다. 모델은 규칙에 더 잘 부합하도록 응답을 수정합니다. 이렇게 정제된 데이터 세트는 모델을 미세 조정(fine-tune)하는 데 사용되어, 모델이 내재적으로 가이드라인을 따르도록 가르칩니다.
강화학습 단계: Reinforcement Learning from AI Feedback (RLAIF)라고도 불리는 이 단계는 인간 레이블러를 대체합니다. AI는 응답 쌍을 생성하고 헌법을 가장 잘 준수한 응답을 선택합니다. 이 선호도 데이터는 보상 모델을 학습시키고, 이 모델은 표준 reinforcement learning 기법을 통해 원하는 행동을 강화합니다.

컴퓨터 비전과의 관련성#

Constitutional AI는 Anthropic과 같은 조직에서 개발한 Large Language Models (LLM) 맥락에서 시작되었지만, 그 원칙은 Computer Vision (CV)을 포함한 더 광범위한 머신러닝 작업에도 점차 중요해지고 있습니다.

윤리적 이미지 생성: 이미지를 생성하기 위한 Generative AI 도구는 폭력적이거나 혐오스러운 또는 저작권이 있는 이미지를 생성하는 프롬프트를 거부하도록 "헌법적으로" 학습될 수 있습니다. 이를 통해 model weights 자체가 안전 제약 조건을 인코딩하여 유해한 시각 콘텐츠의 생성을 방지할 수 있습니다.
안전 핵심 비전 시스템: autonomous vehicles에서 "헌법적" 접근 방식은 의사 결정을 위한 계층적 규칙을 정의할 수 있습니다. 예를 들어, "인간의 안전이 교통 효율성보다 우선한다"는 규칙은 복잡한 도로 장면에 대해 모델을 분석할 때 모델을 안내할 수 있으며, object detection 결과가 안전을 최우선으로 하여 해석되도록 보장합니다.

비전 AI에서 정책 검사 구현하기#

전체 Constitutional AI 학습은 복잡한 피드백 루프를 수반하지만, 개발자는 inference 중에 "헌법적 검사(constitutional checks)" 개념을 적용하여 안전 정책에 따라 출력을 필터링할 수 있습니다. 다음 예제는 Ultralytics YOLO26을 사용하여 객체를 감지하고 신뢰도가 낮은 감지를 필터링하는 안전 규칙을 적용하여 신뢰성 헌법을 모방하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 model (latest stable Ultralytics release)
model = YOLO("yolo26n.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Apply a "constitutional" safety check: Only accept high-confidence detections
for result in results:
    # Filter boxes with confidence > 0.5 to ensure reliability
    safe_boxes = [box for box in result.boxes if box.conf > 0.5]

    print(f"Safety Check Passed: {len(safe_boxes)} reliable objects detected.")
    # Further processing would only use 'safe_boxes'