Constitutional AI는 AI 모델을 인간 가치와 정렬하는 것을 목표로 합니다

인공지능(AI)은 빠르게 우리 일상의 핵심적인 부분이 되고 있습니다. AI는 의료, 채용, 금융, 공공 안전과 같은 분야에서 사용되는 도구에 통합되고 있습니다. 이러한 시스템이 확장됨에 따라 윤리와 신뢰성에 대한 우려의 목소리도 커지고 있습니다.

예를 들어, 공정성이나 안전성을 고려하지 않고 구축된 AI 시스템은 때때로 편향되거나 신뢰할 수 없는 결과를 생성할 수 있습니다. 이는 많은 모델이 여전히 인간의 가치를 반영하고 일치시킬 명확한 방법을 갖추고 있지 않기 때문입니다.

이러한 과제를 해결하기 위해 연구자들은 constitutional AI라고 알려진 접근 방식을 탐구하고 있습니다. 간단히 말해, 이는 모델의 학습 과정에 일련의 성문화된 원칙을 도입하는 것입니다. 이러한 원칙은 모델이 자신의 행동을 판단하고 인간의 피드백에 대한 의존도를 낮추며, 더 안전하고 이해하기 쉬운 응답을 생성하도록 돕습니다.

지금까지 이 접근 방식은 주로 large language models (LLMs)와 관련하여 사용되었습니다. 하지만 동일한 구조가 computer vision 시스템이 시각적 데이터를 분석하는 동안 윤리적 결정을 내리도록 안내하는 데 도움이 될 수 있습니다.

이 글에서는 constitutional AI가 어떻게 작동하는지 살펴보고, 실제 사례를 확인하며, computer vision 시스템에서의 잠재적 응용 분야에 대해 논의하겠습니다.

그림 1. Constitutional AI의 특징. 이미지 제공: 저자.

Link to this sectionConstitutional AI란 무엇인가요?#

Constitutional AI는 명확한 윤리적 규칙을 제공하여 AI 모델의 행동 방식을 안내하는 model training 방식입니다. 이러한 규칙은 행동 강령 역할을 합니다. 모델이 무엇이 허용되는지 추론하도록 맡기는 대신, training 과정에서 응답을 형성하는 일련의 성문화된 원칙을 따르게 합니다.

이 개념은 AI 시스템의 의사결정을 더욱 자기 주도적으로 만들기 위한 방법으로 Claude LLM 제품군을 개발한 AI 안전 중심 연구 기업 Anthropic에 의해 도입되었습니다.

모델은 인간의 피드백에만 의존하는 대신, 사전 정의된 원칙 세트를 기반으로 자신의 응답을 비판하고 개선하는 방법을 학습합니다. 이 접근 방식은 판사가 판결을 내리기 전에 헌법을 참조하는 사법 시스템과 유사합니다.

이 경우 모델은 판사와 학생의 역할을 동시에 수행하며, 동일한 규칙 세트를 사용하여 자신의 행동을 검토하고 개선합니다. 이 과정은 AI 모델의 정렬(alignment)을 강화하고 안전하며 responsible한 AI 시스템의 개발을 지원합니다.

Link to this sectionConstitutional AI는 어떻게 작동하나요?#

Constitutional AI의 목표는 명확한 성문화된 규칙 세트를 따르게 함으로써 AI 모델에게 안전하고 공정한 의사결정을 내리는 방법을 가르치는 것입니다. 이 과정이 작동하는 방식에 대한 간단한 단계는 다음과 같습니다:

• 헌법(constitution) 정의: 모델이 따라야 할 윤리적 원칙을 적은 목록을 작성합니다. 헌법은 AI가 피해야 할 사항과 반영해야 할 가치를 개괄적으로 설명합니다.
• supervised 예제를 사용한 학습: 모델에게 헌법을 따르는 응답 샘플을 보여줍니다. 이러한 예제는 AI가 허용되는 행동이 무엇인지 이해하도록 돕습니다.
• 패턴 인식 및 적용: 시간이 지남에 따라 모델은 이러한 패턴을 포착하기 시작합니다. 새로운 질문에 답하거나 새로운 상황을 처리할 때 동일한 가치를 적용하는 법을 학습합니다.
• 출력물 비판 및 개선: 모델은 자신의 응답을 검토하고 헌법에 따라 조정합니다. 이 자가 검토 단계는 인간의 피드백에만 의존하지 않고도 개선을 이룰 수 있게 합니다.
• 정렬(aligned)되고 더 안전한 응답 생성: 모델은 일관된 규칙으로부터 학습하며, 이는 실제 사용 환경에서 편향을 줄이고 신뢰성을 향상시키는 데 도움이 됩니다. 이 접근 방식은 모델을 인간의 가치와 더 잘 일치시키고 관리하기 쉽게 만듭니다.

그림 2. 모델을 훈련하기 위해 Constitutional AI를 사용하는 방법에 대한 개요.

Link to this section윤리적 AI 설계를 위한 핵심 원칙#

AI 모델이 ethical rules를 따르려면, 해당 규칙이 먼저 명확하게 정의되어야 합니다. Constitutional AI의 경우, 이러한 규칙은 일련의 핵심 원칙에 기반합니다.

예를 들어, 효과적인 AI 헌법의 기초를 형성하는 네 가지 원칙은 다음과 같습니다:

• Transparency: 모델이 어떻게 답변에 도달했는지 쉽게 이해할 수 있어야 합니다. 응답이 사실, 추정치, 패턴 중 무엇에 근거했는지 사용자에게 투명하게 보여야 합니다. 이는 신뢰를 구축하고 사용자가 모델의 출력을 의존할 수 있는지 판단하는 데 도움이 됩니다.
• 평등(Equality): 응답은 서로 다른 사용자들 사이에서 일관성을 유지해야 합니다. 모델은 사람의 이름, 배경, 위치에 따라 출력을 변경해서는 안 됩니다. 평등은 편향을 방지하고 동등한 대우를 촉진합니다.
• 책임(Accountability): 모델이 어떻게 학습되었고 무엇이 행동에 영향을 주었는지 추적할 방법이 있어야 합니다. 문제가 발생했을 때 팀은 원인을 파악하고 이를 개선할 수 있어야 합니다. 이는 투명성과 장기적인 책임을 지원합니다.
• 안전(Safety): 모델은 해를 끼칠 수 있는 콘텐츠 생성을 피해야 합니다. 요청이 위험하거나 안전하지 않은 결과로 이어질 경우 시스템은 이를 인식하고 중단해야 합니다. 이는 사용자와 시스템의 무결성을 모두 보호합니다.

Link to this sectionLLM에서의 constitutional AI 사례#

Constitutional AI는 이론에서 실무로 넘어왔으며, 현재 수백만 명의 사용자와 상호작용하는 대형 모델에서 점진적으로 사용되고 있습니다. 가장 일반적인 두 가지 예는 OpenAI와 Anthropic의 LLM입니다.

두 조직 모두 더 윤리적인 AI 시스템을 만들기 위해 다른 접근 방식을 취하고 있지만, 모델에게 일련의 성문화된 지침 원칙을 따르도록 가르친다는 공통된 아이디어를 공유합니다. 이 예시들을 더 자세히 살펴보겠습니다.

Link to this sectionOpenAI의 constitutional AI 접근 방식#

OpenAI는 ChatGPT 모델 학습 과정의 일환으로 Model Spec이라는 문서를 도입했습니다. 이 문서는 헌법과 같은 역할을 합니다. 이 문서는 유익함, 정직함, 안전함과 같은 가치를 포함하여 모델이 응답에서 지향해야 할 방향을 설명합니다. 또한 무엇이 유해하거나 오해의 소지가 있는 출력물인지도 정의합니다.

이 프레임워크는 OpenAI 모델이 규칙에 얼마나 잘 부합하는지에 따라 응답 등급을 매겨 모델을 미세 조정하는 데 사용되었습니다. 시간이 지남에 따라 이는 ChatGPT가 더 적은 유해한 결과물을 생성하고 사용자가 실제로 원하는 것과 더 잘 일치하도록 개선하는 데 도움이 되었습니다.

그림 3. OpenAI의 Model Spec을 사용하여 응답하는 ChatGPT의 예시.

Link to this sectionAnthropic의 윤리적 AI 모델#

Anthropic의 모델인 Claude가 따르는 헌법은 세계 인권 선언, Apple의 서비스 약관과 같은 플랫폼 가이드라인, 기타 AI 연구소의 연구 자료 등에서 얻은 윤리적 원칙에 기반합니다. 이러한 원칙은 Claude의 응답이 안전하고 공정하며 중요한 인간의 가치와 일치하도록 보장합니다.

Claude는 또한 human feedback에 의존하는 대신 이러한 윤리적 지침을 기반으로 자신의 응답을 검토하고 조정하는 RLAIF(Reinforcement Learning from AI Feedback)를 사용합니다. 이 과정은 Claude가 시간이 지남에 따라 스스로 개선되도록 하여 더 확장 가능하게 만들며, 까다로운 상황에서도 유익하고 윤리적이며 무해한 답변을 더 잘 제공하게 합니다.

그림 4. Anthropic의 constitutional AI 접근 방식에 대한 이해.

Link to this sectionComputer vision에 constitutional AI 적용하기#

Constitutional AI가 언어 모델의 행동 방식에 긍정적인 영향을 미치고 있으므로, 자연스럽게 다음과 같은 질문이 제기됩니다. 비슷한 접근 방식이 비전 기반 시스템이 더 공정하고 안전하게 대응하도록 도울 수 있을까요?

computer vision models은 텍스트 대신 이미지를 다루지만, 윤리적 지침의 필요성은 마찬가지로 중요합니다. 예를 들어, 시스템이 시각 데이터를 분석할 때 모든 사람을 동등하게 대우하고 해롭거나 불공정한 결과를 피하도록 학습되어야 하므로 공정성과 편향성은 고려해야 할 핵심 요소입니다.

그림 5. Computer vision과 관련된 윤리적 과제. 이미지 제공: 저자.

현재 computer vision 분야에서 constitutional AI 방법을 사용하는 것은 아직 탐색 단계이며 초기 단계에 있고, 이 분야에 대한 연구가 진행 중입니다.

예를 들어, Meta는 최근 이미지 안전 작업에 헌법적 추론을 적용하는 프레임워크인 CLUE를 도입했습니다. 이 프레임워크는 광범위한 안전 규칙을 멀티모달 AI(여러 유형의 데이터를 처리하고 이해하는 AI 시스템)가 따를 수 있는 정밀한 단계로 변환합니다. 이는 시스템이 더 명확하게 추론하고 유해한 결과를 줄이는 데 도움을 줍니다.

또한 CLUE는 복잡한 규칙을 단순화하여 이미지 안전성 판단을 효율적으로 만들고, AI 모델이 광범위한 인간의 입력 없이도 빠르고 정확하게 행동할 수 있도록 합니다. 일련의 지침 원칙을 사용함으로써 CLUE는 고품질 결과를 보장하면서 이미지 모더레이션 시스템을 더 확장 가능하게 만듭니다.

Link to this section핵심 요약#

AI 시스템이 더 많은 책임을 맡게 됨에 따라, 초점은 그들이 무엇을 '할 수 있는지'에서 무엇을 '해야 하는지'로 이동하고 있습니다. 이러한 시스템은 의료, 법 집행, 교육과 같이 사람들의 삶에 직접적인 영향을 미치는 분야에서 사용되기 때문에 이러한 전환은 핵심적입니다.

AI 시스템이 적절하고 윤리적으로 행동하도록 보장하려면 견고하고 일관된 기반이 필요합니다. 이 기반은 공정성, 안전성, 신뢰를 최우선으로 해야 합니다.

성문화된 헌법은 학습 과정 중에 이러한 기반을 제공하여 시스템의 의사결정 과정을 안내할 수 있습니다. 또한 배포 후 시스템의 행동을 검토하고 조정할 수 있는 프레임워크를 개발자에게 제공하여, 설계된 가치를 지속적으로 준수하게 하고 새로운 과제가 발생할 때 더 쉽게 적응할 수 있도록 합니다.

성장하는 저희 community에 지금 가입하세요! GitHub repository를 탐색하며 AI에 대해 더 깊이 알아보세요. 자신만의 computer vision 프로젝트를 구축하고 싶으신가요? 저희의 licensing options을 확인해보세요. 솔루션 페이지를 방문하여 computer vision in healthcare가 효율성을 어떻게 개선하고 있는지, 그리고 AI in manufacturing의 영향을 확인해보세요!