Shadow AI

섀도 AI는 조직의 IT, 보안 또는 규정 준수 팀이 알지 못하거나 승인하지 않은 상태로 조직 내부에서 인공지능 도구, 모델, 서비스를 사용하는 것을 말합니다. 직원이 개인 계정의 생성형 AI 어시스턴트에 업무 내용을 붙여 넣거나, 개발자가 검토되지 않은 모델 API를 호출하거나, 팀이 이미 사용하는 소프트웨어의 AI 기능을 활성화하는 경우가 대표적입니다. 섀도 AI는 승인되지 않은 앱과 클라우드 서비스를 사용하는 오래된 문제인 섀도 IT의 하위 유형이며, 도구가 무료이거나 저렴하고 몇 분 만에 도입할 수 있으며 업무 속도를 높여 주기 때문에 같은 이유로 확산됩니다.

섀도 AI가 섀도 IT와 다른 점#

AI 서비스는 받은 데이터를 저장할 뿐 아니라 처리하기도 합니다. 대형 언어 모델(LLM)에 보내는 모든 프롬프트는 조직 밖으로 나가며, 소비자용 요금제는 사용자가 거부하지 않는 한 대화를 보관하거나 이를 학습 데이터로 사용할 수 있습니다. 2023년 삼성 엔지니어들이 기밀 소스 코드와 회의록을 ChatGPT에 붙여 넣은 뒤, 회사는 기기에서 생성형 AI 도구 사용을 제한했습니다.

위험은 반대 방향으로도 작용합니다. 검토되지 않은 어시스턴트의 출력에는 환각, 안전하지 않은 코드 또는 라이선스가 불분명한 텍스트가 포함될 수 있으며, 아무도 이를 확인하지 않은 채 제품 및 의사 결정에 반영될 수 있습니다. 모델 가중치는 Hugging Face와 같은 공개 허브에서 다운로드한 경우 Python의 pickle 형식을 사용하면 불러올 때 임의의 코드를 실행할 수 있으며, 이러한 이유로 safetensors 형식은 텐서만 저장합니다. 직원의 개인 토큰으로 이메일, 캘린더 또는 코드 저장소에 연결된 AI 에이전트는 회사 시스템에서 작업을 수행할 수 있으며, 악성 웹 페이지나 문서는 프롬프트 인젝션을 통해 에이전트의 동작을 유도할 수 있습니다.

이러한 비용은 침해 통계에 드러납니다. IBM의 2026년 데이터 침해 비용 보고서는 조사 대상 침해 조직 중 43%에서 섀도 AI 관련 사고가 발생했다고 밝혔습니다. 이는 전년도 20%에서 증가한 수치이며, 이러한 침해의 평균 비용은 539만 달러로 전체 평균인 499만 달러보다 높았습니다.

섀도 AI의 일반적인 형태#

• 챗봇 및 글쓰기 도우미: 개인 계정을 사용해 계약서를 요약하거나, 독점 코드의 버그를 수정하거나, 고객 기록이 포함된 답변을 작성합니다.
• 내장형 AI 기능: 공급업체가 승인된 도구에 음성 전사, 요약 또는 회의록 기능을 추가하고, 이 기능이 새로운 하위 처리자에게 데이터를 보내기 시작하지만 별도의 검토는 이루어지지 않습니다.
• 검증되지 않은 모델 및 API: 개발자가 이미지를 외부 컴퓨터 비전 API로 보내거나, 라이선스, 출처 및 보안이 아무도 확인하지 않은 다운로드 가중치를 배포합니다.
• 브라우저 확장 프로그램 및 에이전트: 직원이 여는 모든 페이지를 읽거나 연결된 계정 전반에서 직원을 대신해 작업하는 도구입니다.

섀도 AI 탐지 및 축소#

탐색에는 여러 신호를 결합합니다. AI 엔드포인트로 향하는 트래픽을 보여주는 네트워크 및 DNS 로그, 업로드를 검사하는 클라우드 액세스 보안 브로커 및 데이터 손실 방지 도구, 브라우저 확장 프로그램 목록, AI 구독 및 API 키 관련 경비 보고서, 그리고 팀이 사용하는 도구를 신고하는 설문조사나 자진 신고 프로그램 등이 있습니다. 이렇게 발견한 각 도구는 아래에 제시된 동일한 분류 절차를 거친 다음, AI 거버넌스의 기반이 되는 인벤토리에 등록됩니다.

섀도 AI를 줄이는 프로그램은 어떤 데이터를 어떤 도구에 입력해도 되는지 명확한 규칙을 마련하고, 사용하기 편리한 승인된 대안을 함께 제공합니다. 여기에는 고객 데이터 학습이 비활성화된 엔터프라이즈 계정, 모든 모델 트래픽을 기록하고 필터링하는 AI 게이트웨이, 가장 민감한 업무에 사용할 자체 호스팅 모델이 포함됩니다. AI 리터러시 교육에서는 규칙이 필요한 이유와 승인된 도구를 설명합니다.

컴퓨터 비전 분야에서도 사람, 제품 또는 시설의 이미지가 온라인 라벨링 및 학습 도구의 개인 계정에 저장되면 같은 문제가 발생합니다. Ultralytics Platform 팀 작업 공간에서는 구성원이 생성한 데이터셋, 모델 및 배포가 팀의 소유가 되고 모든 구성원이 이를 볼 수 있으며, 소유자, 관리자, 편집자 및 뷰어 역할에 따라 변경 권한이 결정됩니다.

섀도 AI는 가시성 문제이며, 데이터 개인정보 보호 및 데이터 보안 사고로 이어집니다. 보안팀은 존재 자체를 모르는 도구를 평가하거나 보호하거나 모니터링할 수 없기 때문입니다. NIST AI 위험 관리 프레임워크는 GOVERN 1.6 하위 범주에서 조직의 위험 우선순위에 따라 자원을 배정해 AI 시스템을 목록화하는 메커니즘을 마련하도록 요구합니다.