Shadow AI
影子 AI 指未经 IT 或安全团队批准而使用 AI 工具、模型和智能体。了解它与影子 IT 的区别、数据泄露风险,以及如何发现影子 AI。
影子 AI 指组织内部在 IT、安全或合规团队不知情或未批准的情况下使用人工智能工具、模型和服务。常见情况包括员工将工作内容粘贴到个人账号中的生成式 AI助手,开发者调用未经审核的模型 API,以及团队启用正在使用的软件中的 AI 功能。影子 AI 是影子 IT 的子集;影子 IT 是更早出现的未经批准使用应用和云服务的问题,而影子 AI 之所以发展迅速,原因也相同:工具免费或便宜,只需几分钟就能开始使用,还能提高工作效率。
影子 AI 与影子 IT 的区别#
AI 服务不仅会存储收到的数据,还会处理这些数据。发送给大型语言模型(LLM)的每条提示都会离开组织;除非用户选择退出,否则消费者方案可能会保留对话内容,或将其用作训练数据。2023 年,Samsung 工程师将机密源代码和会议记录粘贴到 ChatGPT 中,之后公司限制了其设备上的生成式 AI 工具。
风险也可能来自相反方向。未经审核的助手输出可能包含幻觉、不安全代码或许可条款不明确的文本,在无人核查的情况下进入产品和决策。模型权重从 Hugging Face等公共平台下载后,如果使用 Python 的 pickle 格式,加载时可能会运行任意代码;因此,safetensors 格式只存储张量。连接到电子邮件、日历或代码仓库,并使用员工个人令牌的 AI 智能体可以操作公司系统;恶意网页或文档还可能通过提示注入操控它们。
泄漏成本反映在数据泄露事件统计中。IBM 的《2026 年数据泄露成本报告》发现,研究中发生数据泄露的组织有 43% 涉及影子 AI,高于前一年的 20%;这些泄露事件的平均成本为 539 万美元,高于 499 万美元的总体平均水平。
影子 AI 的常见形式#
- 聊天机器人和写作助手:员工使用个人账户总结合同、调试专有代码,或起草包含客户记录的回复。
- 嵌入式 AI 功能:供应商在已批准的工具中新增转录、摘要或会议纪要功能,而该功能开始向新的子处理方发送数据,却没有经过重新审查。
- 未经审查的模型和 API:开发者将图像发送到外部视觉 API,或部署下载的权重,但无人检查其许可证、来源和安全性。
- 浏览器扩展和代理:这些工具会读取员工打开的每个页面,或通过已连接的账户代替员工行事。
发现并减少影子 AI#
发现影子 AI 需要综合多种信号:显示流向 AI 端点的网络和 DNS 日志;检查上传内容的云访问安全代理和数据丢失防护工具;浏览器扩展清单;AI 订阅和 API 密钥的费用报告;以及团队申报所用工具的调查或自查计划。每个发现的工具随后都会经过下方所示的相同分级审查,并纳入AI 治理所依赖的清单。
减少影子 AI 的计划会将明确的数据使用规则与同样易用的获批选项配套提供:禁用客户数据训练的企业账户、记录并过滤所有模型流量的AI 网关,以及用于最敏感工作的自托管模型。AI 素养培训会解释制定这些规则的原因,以及哪些工具已获批准。
当人员、产品或设施的图像存放在个人账户中的在线标注和训练工具里时,计算机视觉工作也会面临同类问题。在 Ultralytics Platform 团队工作区中,任何成员创建的数据集、模型和部署都归团队所有,所有成员都能查看;Owner、Admin、Editor 和 Viewer 角色则决定谁能修改这些内容。
影子 AI 是一个可见性问题,最终会演变成数据隐私和数据安全事件,因为安全团队无法评估、保护或监控自己不知道存在的工具。NIST AI 风险管理框架在子类别 GOVERN 1.6 中对此作出要求:应建立机制清点 AI 系统,并根据组织的风险优先级配置资源。










