Confidential AI

机密 AI 是指在基于硬件的可信执行环境（TEE）中运行机器学习训练和推理，从而保护数据、提示和模型权重，即使云服务提供商、系统管理员和主机操作系统也无法访问。长期以来，加密一直保护静态存储在磁盘上的数据，以及在网络中传输的数据。机密 AI 填补了剩下的空白——使用中的数据：传统系统会在模型处理数据时将其解密到 CPU和 GPU内存中。它将 Linux 基金会机密计算联盟自 2019 年起推动的机密计算应用于 AI 工作负载。

机密 AI 的工作原理#

以下三种硬件机制使这项保障成为可能：

• 隔离执行：Intel TDX 和 AMD SEV-SNP 等 CPU 技术会在内存加密的虚拟机中运行整个操作系统，且密钥对虚拟机监控程序不可见；Intel SGX 则会在单个应用程序中隔离更小的安全区。NVIDIA 从 Hopper 一代开始为数据中心 GPU 增加了机密计算模式，可加密 CPU 与 GPU 之间传输的数据，并阻止宿主读取 GPU 内存。
• 远程证明：在接收任何机密信息之前，TEE 会生成一份经过签名的报告。报告以固化在芯片中的密钥为信任根，列出正在运行的确切硬件、固件和软件。数据所有者或密钥管理服务会将报告与预期值进行比对。
• 经证明后释放密钥：数据集或模型权重的解密密钥只会提供给通过证明的环境，因此只有经过验证的工作负载才能读取受保护的资产。

性能开销主要集中在数据移动上。加密内存以及 CPU 与 GPU 之间的数据传输会增加开销，而 GPU 内部的计算仍以全速运行，因此大型语言模型推理等计算密集型任务的推理延迟只会略有增加。

它能防范哪些威胁#

威胁模型针对的是遭到入侵或存有窥探意图的基础设施层：例如云计算服务提供商的恶意内部人员、被入侵的虚拟机监控程序，或同一物理服务器上的其他租户。这种保护是双向的。数据所有者可以将敏感记录交给自己无法控制的模型；模型所有者则可以将专有权重部署到合作伙伴的数据中心或边缘站点，而不必在那里暴露权重。由于远程证明让客户能够验证谁可以读取其数据，机密计算也是构建主权 AI服务的基础模块之一，这类服务可以运行在外国拥有的硬件上。

机密 AI 可以保护执行环境，还能与覆盖其余流程的控制措施配合使用。模型输出仍可能通过成员推断攻击泄露训练数据，而通过差分隐私进行训练可以限制这种风险；此外，安全区内的应用代码仍需遵循标准的数据安全实践，例如访问控制和安装补丁。

相关隐私技术#

• 联邦学习会将原始数据保留在每个参与者的设备或服务器上，只共享模型更新。在 TEE 中运行聚合服务器，可以进一步保护这些更新。
• 同态加密无需任何可信硬件即可直接对加密数据进行计算，但在深度学习中，它的速度仍比 TEE 慢几个数量级，因此只适用于小型模型和简单操作。
• 边缘 AI通过在采集数据的设备上处理数据来避开这个问题，只要模型足够小、能在设备上运行即可。

机密 AI 的应用场景#

私有云助手是最引人注目的部署案例。Apple 于 2024 年推出的 Private Cloud Compute，会在 Apple silicon 服务器上处理超出设备能力的 Apple Intelligence 请求；请求处理后服务器不会保留用户数据，工作人员没有特权访问权限，并且会公开软件映像，供独立研究人员验证实际运行的内容。Google 于 2025 年 11 月公布的 Private AI Compute 则将同样的设计应用于自家 TPU 上的 Gemini 模型；设备会在发送数据前检查远程证明。

医疗协作也是一个应用场景。无法共享患者记录的医院，可以让外部开发者在可信执行环境（TEE）中使用医院的数据验证或训练医学图像分析模型。医院看不到模型权重，开发者也看不到患者扫描图像；云服务提供商可通过 Azure 机密 AI及其他服务支持这种模式。

视觉系统也会处理个人数据：商店、诊所和工作场所中的摄像头会拍摄人脸及其他受数据隐私法律保护的信息。由于机密虚拟机可以运行未经修改的应用，导出为 ONNX 或 TensorRT的 Ultralytics YOLO26模型可以像在任何 GPU 服务器上一样部署在其中，在分析每一帧时确保云运营商无法访问加密画面。