Confidential AI

기밀 AI는 하드웨어 기반 신뢰 실행 환경(TEE) 안에서 머신러닝의 학습과 추론을 실행하는 방식입니다. 이를 통해 데이터, 프롬프트, 모델 가중치를 클라우드 제공업체, 시스템 관리자, 호스트 운영체제로부터도 보호합니다. 암호화는 디스크에 저장된 데이터와 네트워크로 전송되는 데이터를 오랫동안 보호해 왔습니다. 기밀 AI는 기존 시스템이 모델 처리 중 CPU 및 GPU 메모리에서 복호화하는 사용 중 데이터를 보호함으로써 남은 공백을 메웁니다. 이는 Linux Foundation의 Confidential Computing Consortium이 2019년부터 추진해 온 분야인 기밀 컴퓨팅을 AI 워크로드에 적용합니다.

기밀 AI의 작동 방식#

다음 세 가지 하드웨어 메커니즘으로 이러한 보장을 구현합니다:

• 격리 실행: Intel TDX 및 AMD SEV-SNP와 같은 CPU 기술은 하이퍼바이저가 키를 알 수 없는 암호화된 메모리에서 전체 가상 머신을 실행합니다. Intel SGX는 단일 애플리케이션 안에서 더 작은 엔클레이브를 격리합니다. NVIDIA는 Hopper 세대부터 데이터센터 GPU에 기밀 컴퓨팅 모드를 추가했습니다. 이 모드는 CPU와 GPU 사이에서 이동하는 데이터를 암호화하고 호스트가 GPU 메모리를 읽지 못하도록 차단합니다.
• 원격 증명: 비밀 정보를 받기 전에 TEE는 칩에 내장된 키를 기반으로 서명된 보고서를 생성합니다. 이 보고서에는 실행 중인 정확한 하드웨어, 펌웨어, 소프트웨어가 나열됩니다. 데이터 소유자나 키 관리 서비스는 이 보고서를 예상 값과 비교합니다.
• 증명된 키 릴리스: 데이터셋이나 모델 가중치의 복호화 키는 증명 절차를 통과한 환경에만 제공되므로, 보호된 자산은 검증된 워크로드 내부에서만 읽을 수 있습니다.

성능 비용은 주로 데이터 이동에서 발생합니다. 메모리 암호화와 CPU-GPU 간 전송에는 오버헤드가 추가되지만, GPU 내부 연산은 최고 속도로 실행됩니다. 따라서 대규모 언어 모델 추론과 같은 연산 집약적 작업에서는 추론 지연 시간이 소폭만 증가합니다.

보호 대상#

위협 모델은 침해되었거나 호기심 많은 인프라 계층입니다. 여기에는 클라우드 컴퓨팅 제공업체의 악의적인 내부자, 해킹된 하이퍼바이저, 동일한 물리 서버를 사용하는 다른 테넌트가 포함됩니다. 보호는 양방향으로 작동합니다. 데이터 소유자는 제어하지 않는 모델에 민감한 레코드를 전달할 수 있고, 모델 소유자는 가중치를 노출하지 않고 파트너의 데이터센터나 엣지 사이트에 독점 가중치를 배포할 수 있습니다. 증명을 통해 고객은 누가 자신의 데이터를 읽을 수 있는지 검증할 수 있으므로, 기밀 컴퓨팅은 외국 소유 하드웨어에서 실행되는 주권 AI 서비스의 기반 기술이기도 합니다.

기밀 AI는 실행 환경을 보호하며, 파이프라인의 나머지 부분을 보호하는 제어 기능과 함께 사용됩니다. 모델 출력은 여전히 멤버십 추론 공격을 통해 학습 데이터를 드러낼 수 있지만, 차등 프라이버시 학습으로 이를 제한할 수 있습니다. 엔클레이브 내부의 애플리케이션 코드에도 접근 제어와 패치 적용 같은 표준 데이터 보안 관행이 필요합니다.

관련 개인정보 보호 기법#

• 연합 학습은 각 참여자의 기기나 서버에 원시 데이터를 보관하고 모델 업데이트만 공유합니다. 집계 서버를 TEE에서 실행하면 이러한 업데이트를 추가로 보호할 수 있습니다.
• 동형 암호화는 신뢰할 수 있는 하드웨어 없이 암호화된 데이터를 직접 연산에 사용하지만, 딥러닝에서는 TEE보다 몇 자릿수나 느리므로 소형 모델과 단순한 연산에 제한적으로 사용됩니다.
• 엣지 AI는 데이터를 수집한 기기에서 처리함으로써 이 문제를 피합니다. 모델을 해당 기기에서 실행할 수 있을 만큼 작으면 적용할 수 있습니다.

기밀 AI의 활용 분야#

가장 눈에 띄는 배포 사례는 프라이빗 클라우드 어시스턴트입니다. 2024년에 도입된 Apple의 Private Cloud Compute는 기기에서 처리하기에는 큰 Apple Intelligence 요청을 Apple 실리콘 서버에서 처리합니다. 이 서버는 요청이 끝난 뒤 사용자 데이터를 보관하지 않고, 직원의 특권 접근을 허용하지 않으며, 독립 연구자가 실행 내용을 검증할 수 있도록 소프트웨어 이미지를 공개합니다. 2025년 11월에 발표된 Google의 Private AI Compute는 자체 TPU에서 Gemini 모델에 같은 설계를 적용하며, 기기는 데이터를 보내기 전에 증명 결과를 확인합니다.

의료 분야의 협업도 또 다른 사례입니다. 환자 기록을 공유할 수 없는 병원은 외부 개발자가 TEE 안에서 자체 데이터를 사용해 의료 영상 분석 모델을 검증하거나 학습하도록 허용할 수 있습니다. 병원은 모델 가중치를 볼 수 없고 개발자는 환자의 스캔 이미지를 볼 수 없습니다. 클라우드 제공업체는 이러한 방식을 Azure의 기밀 AI 서비스 등을 통해 지원합니다.

비전 시스템도 개인 데이터를 처리합니다. 매장, 병원, 직장에 설치된 카메라는 얼굴과 데이터 프라이버시 법률의 적용을 받는 기타 정보를 촬영합니다. 기밀 가상 머신은 수정하지 않은 애플리케이션을 실행하므로, ONNX 또는 TensorRT로 내보낸 Ultralytics YOLO26 모델은 일반 GPU 서버에서와 같은 방식으로 해당 환경에 배포할 수 있습니다. 분석하는 동안 각 프레임은 클라우드 운영자가 접근하지 못하도록 암호화된 상태로 유지됩니다.