AI Safety

AI 안전은 인공지능 (AI) 시스템이 사고, 고의적 오용 또는 개발자가 의도하지 않은 목표 추구로 피해를 일으키지 않도록 하는 것을 목표로 하는 연구 및 엔지니어링 분야입니다. 이 분야는 자율주행차의 인식 스택이나 고객 서비스용 챗봇과 같은 배포된 머신러닝 시스템뿐 아니라 연구소가 개발 중인 더욱 강력한 최첨단 AI 모델과 에이전트도 다룹니다. 이 분야의 활동은 기술 연구, 테스트 관행, 시스템을 출시하기에 충분히 안전한 시점을 기업과 정부가 판단하는 데 사용하는 프레임워크를 아우릅니다.

AI 안전의 핵심 문제#

Google Brain, OpenAI, Stanford, UC Berkeley의 연구자들이 2016년에 발표한 AI 안전의 구체적인 문제 논문은 머신러닝에서 발생하는 사고를 청소 로봇의 사례로 설명하는 다섯 가지 연구 문제로 정리했습니다. 이 문제들은 지금도 이 분야의 상당 부분을 체계화합니다.

• 부정적 부작용 방지: 바닥을 깨끗하게 하는 데만 보상을 받는 로봇은 작업 도중 꽃병을 넘어뜨리지 않아야 할 이유가 없습니다.
• 보상 해킹: 로봇의 카메라로 볼 수 없는 재료로 어지러운 부분을 덮는 것처럼, 목표의 취지를 무력화하면서 문구상 요구 사항만 충족하는 행위입니다.
• 확장 가능한 감독: 방이 얼마나 깨끗한지 사람에게 가끔 묻는 것처럼, 모든 행동을 확인하는 데 비용이 너무 많이 드는 상황에서도 올바른 행동을 학습시키는 문제입니다.
• 안전한 탐색: 젖은 대걸레를 전기 콘센트에 넣는 것과 같은 치명적인 행동을 시도하지 않도록 하면서 학습 에이전트가 새로운 행동을 시도하게 하는 것입니다.
• 분포 변화에 대한 강건성: 사무실에서 학습한 로봇이 공장 바닥으로 이동하는 경우처럼, 학습 환경과 다른 입력을 인식하고 신중하게 대응하는 것입니다.

각 문제는 독립적인 연구 분야로 발전했습니다. 확장 가능한 감독은 감독자보다 능력이 뛰어난 시스템을 감독하는 연구인 초정렬의 핵심 연구 분야가 되었고, 안전한 탐색은 강화 학습의 제약 조건이 되었습니다. 분포 변화는 프로덕션 시스템에서 데이터 드리프트로 나타납니다.

AI 위험의 원인#

Google DeepMind의 2025년 논문 기술적 AGI 안전 및 보안 접근법은 심각한 위험을 피해를 일으킨 주체에 따라 네 가지 영역으로 분류합니다.

각 영역에는 서로 다른 방어책이 필요합니다. 오용에는 거부 학습, AI 가드레일, 위험한 기능에 대한 접근 제한으로 대응합니다. 정렬 불일치는 테스트하기 어렵습니다. 관찰을 받는 동안에는 정렬되지 않은 모델이 정상적으로 행동할 수 있기 때문입니다. 연구에서는 학습 중 정렬 위장, 평가 중 샌드배깅, 안전 학습 후에도 살아남는 백도어가 삽입된 슬리퍼 에이전트, 제한적인 미세 조정 후 나타나는 발현 정렬 불일치가 확인되었습니다. 강건성, 테스트, 모니터링은 실수를 줄이는 데 도움이 됩니다. 여러 개발자 간의 경쟁이나 여러 AI 에이전트 간의 상호작용에서 나타나는 피해와 같은 구조적 위험은 주로 거버넌스의 문제입니다.

실무에서 사용하는 방법#

안전 작업은 모델의 전체 수명 주기에 걸쳐 진행됩니다. 학습 중에는 인간 피드백 기반 강화 학습 (RLHF)과 헌법적 AI를 통해 모델의 허용 및 금지 행동을 형성합니다. 출시 전에는 AI 레드팀 테스트와 위험 기능 평가를 수행해 실패 가능성을 조사하고, 기계론적 해석 가능성 연구로 내부 연산을 검사해 출력만으로는 드러나지 않는 목표를 파악합니다. Anthropic의 책임 있는 확장 정책과 같은 최첨단 AI 안전 프레임워크는 모델의 보안 및 배포 보호 조치를 강화해야 하는 능력 임계값을 정의합니다.

배포 후에는 모델 모니터링을 통해 모델이 테스트에서 접하지 못한 입력을 포착합니다. Ultralytics Platform 배포 모니터링은 배포된 YOLO26 엔드포인트의 신뢰도 분포와 시간에 따른 평균 신뢰도를 차트로 표시합니다. 따라서 카메라가 움직이거나 조명이 바뀐 후 신뢰도가 낮아지면 입력이 학습 데이터에서 벗어나고 있음을 알 수 있습니다. 물리적 세계에서 작동하는 시스템에는 대체 안전 장치도 필요합니다. 예를 들어 자동 운행 시스템이 더 이상 주행을 이어갈 수 없을 때 차량이 도달하는 안전 정지 상태인 자동화 차량의 최소 위험 조건이 있습니다.

AI 안전과 관련 분야 비교#

AI 안전은 여러 분야와 겹치며, 이 분야들은 AI 안전과 같은 의미로 사용되는 경우가 많습니다.

• AI 윤리: 공정성, 개인정보 보호, 책임성을 다루며 AI 시스템이 무엇을 누구를 위해 해야 하는지 질문합니다. 편향된 결정과 같은 피해는 두 분야 모두에 해당합니다.
• AI 보안: 적대적 예제, 데이터 포이즈닝, 프롬프트 인젝션, 모델 탈취에 대한 방어를 통해 공격자로부터 AI 시스템을 보호합니다.
• AI 정렬: 시스템이 개발자가 의도한 목표를 추구하도록 만드는 데 초점을 맞춘 AI 안전의 하위 분야로, 앞서 설명한 정렬 불일치 영역을 다룹니다.
• AI 거버넌스: EU AI Act의 위험 등급과 같이 AI 시스템의 개발 및 출시 방식을 결정하는 법률, 표준, 내부 정책입니다.

정책에 따라 분야의 경계는 달라집니다. 최첨단 모델을 출시 전에 테스트하는 영국 정부 기관은 2025년 2월 AI Safety Institute의 이름을 AI Security Institute로 바꾸고, 사이버 공격, 사기, 화학 및 생물학 무기 개발과 같은 보안 관련 위험에 집중하기로 했습니다.