AI Governance

AI 거버넌스는 조직이 어떤 인공지능 시스템을 개발하거나 구매할지, 각 시스템에 누가 책임을 질지, 릴리스 전에 어떤 증거가 필요한지, 시스템을 어떻게 모니터링하고 변경하며 폐기할지를 결정하는 데 사용하는 정책, 역할, 프로세스, 기록의 집합입니다. AI 윤리는 조직이 AI에 지키도록 하려는 가치를 정의합니다. 거버넌스는 이러한 가치를 의사결정 권한과 문서화된 점검 항목으로 구체화해, 공급업체에서 구매한 대규모 언어 모델 비서부터 생산 라인에서 사용하는 사내 컴퓨터 비전 모델까지 모든 시스템의 전체 수명 주기에 적용합니다.

프레임워크 및 규정#

대부분의 거버넌스 프로그램은 소수의 참조 프레임워크를 기반으로 구축됩니다.

• NIST AI 위험 관리 프레임워크: 2023년 1월에 발표된 미국의 자발적 프레임워크로, 네 가지 기능으로 구성됩니다. Govern은 정책과 책임을 설정하고, Map은 각 시스템의 맥락과 의도된 사용을 정립하며, Measure는 테스트와 지표를 통해 위험을 평가하고, Manage는 위험의 우선순위를 정해 대응합니다.
• ISO/IEC 42001: 2023년 12월에 발표된 AI 경영시스템에 관한 최초의 국제 표준입니다. 조직은 정보 보안에 대해 ISO/IEC 27001 인증을 받는 것과 마찬가지로 이 표준에 따라 심사 및 인증을 받을 수 있습니다.
• OECD AI 원칙: 2019년에 채택되어 2024년에 개정된 원칙으로, 여러 국가 정책의 기반이 되며 다른 프레임워크에 공통 어휘를 제공합니다.

NIST 생성형 AI 프로파일인 NIST AI 600-1(2024년 7월)은 위험 관리 프레임워크를 환각 및 프롬프트 인젝션과 같은 위험에 적용합니다.

EU AI Act는 2024년 8월 발효되어 단계적으로 적용되는 위험 기반 규정입니다. 사회적 점수화와 직장 및 학교에서의 감정 인식 같은 관행 금지, 그리고 AI 리터러시 의무는 2025년 2월 2일부터 적용되었습니다. 범용 AI 모델 제공업체의 의무는 2025년 8월 2일부터, 딥페이크 공개와 같은 투명성 의무는 2026년 8월 2일부터 적용되었습니다. 2026년 7월 27일부터 발효된 AI 디지털 옴니버스에 따라 채용 및 신용 평가와 같은 부속서 III의 고위험 시스템 요건은 2027년 12월 2일로, 의료 기기 및 기계류와 같은 규제 제품에 포함된 AI의 요건은 2028년 8월 2일로 연기되었습니다. 해당 요건에는 위험 관리, 데이터 거버넌스, 로깅, 인간 감독, 적합성 평가가 포함됩니다.

핵심 통제#

조직은 자신이 모르는 시스템을 관리할 수 없으므로 먼저 인벤토리를 작성해야 합니다. 완전한 인벤토리에는 각 시스템의 소유자, 목적, 데이터 출처, 모델 버전, 공급업체가 기록되며, 검토 없이 팀이 도입한 도구인 섀도 AI도 확인할 수 있습니다. 사내에서 구축한 모델의 경우 모델 레지스트리가 인벤토리 역할을 하는 경우가 많습니다.

그다음 위험 분류를 통해 목적, 자율성, 영향을 받는 사람, 오류 비용에 따라 시스템을 등급별로 구분합니다. 내부 문서의 순위를 매기는 모델은 입사 지원자를 선별하거나 기계를 제어하는 모델보다 간소한 검토가 필요합니다. 위험 등급이 높을수록 더욱 엄격한 테스트, 승인, 인간의 감독이 요구됩니다.

문서화하면 의사결정을 검토할 수 있습니다. 모델 카드에는 의도된 사용, 평가 결과, 알려진 한계가 기록되고, 데이터 출처 기록에는 학습 데이터의 출처와 라이선스 또는 동의 조건이 기록됩니다. 재현성도 같은 기록에 포함해야 합니다. 후보 모델마다 정확한 데이터세트 버전, 기반 모델, 코드 버전, 설정을 기록해야 검토자가 배포된 모델을 입력 데이터까지 추적할 수 있습니다. Ultralytics Platform에서 학습한 비전 모델은 각 실행의 상위 모델, Ultralytics 버전, 호스트 환경, 보고된 경우 Git 커밋을 기록합니다. 저장된 데이터세트 버전에는 학습에 사용한 정확한 이미지와 레이블이 고정됩니다.

테스트는 승인에 필요한 증거를 제공합니다. 결과를 확인하기 전에 사용 사례별 합격 기준을 정하고, 관련 하위 그룹 전반의 정확도를 테스트해 AI 편향을 찾습니다. 저조도나 새 카메라 각도처럼 입력이 바뀌어도 견고한지, 보안이 유지되는지도 확인하며 보안 테스트에는 AI 레드팀을 활용하는 경우가 많습니다. 영국 NCSC와 협력 기관은 설계, 개발, 배포, 운영을 다루는 안전한 AI 시스템 개발 지침을 발표합니다.

릴리스 후에는 모델 모니터링으로 성능과 데이터 드리프트를 추적하고, 사고 대응 절차에서 누가 시스템을 중지하거나 롤백할 수 있는지 정의합니다. 폐기 절차는 더 이상 필요하지 않은 모델과 데이터를 제거합니다. 의사결정 권한이 이러한 통제를 하나로 연결합니다. 거버넌스는 모든 시스템에 대해 배포를 승인할 사람, 시스템을 중지할 권한이 있는 사람, 테스트 후에도 남은 위험을 수용할 사람을 명시합니다.

관련 관행과 거버넌스의 차이#

• 규정: 외부에서 부과하는 법률입니다. 거버넌스는 조직 내부에서 운영하는 체계이며, 조직이 규정을 준수한다는 점을 입증하는 수단이기도 합니다.
• 위험 관리: 특정 위험을 식별하고 측정하며 대응하는 활동입니다. 거버넌스는 이 업무를 수행하는 사람, 남은 위험을 수용하는 사람, 의사결정 기록 방식을 정합니다.
• MLOps: 모델을 학습하고 배포하며 유지 관리하는 파이프라인입니다. 거버넌스는 파이프라인이 충족해야 하는 승인 단계와 기록 요건을 설정합니다.
• AI 안전: AI 시스템이 의도한 대로 작동하도록 만드는 기술적 연구 분야입니다. 거버넌스는 안전성 관련 결과가 조직의 출시 가능 제품에 어떤 영향을 미치는지 결정합니다.