Data Security
数据安全通过加密、访问控制和审计来保护数据免遭未经授权的访问、篡改和丢失,其中也包括 AI 数据集和权重。
数据安全是指在数字数据的整个生命周期中保护数据,避免未经授权的访问、窃取、篡改和丢失,涵盖数据的收集、存储、处理、共享和删除。其目标通常概括为 CIA 三要素:机密性,确保只有获授权的人员和系统可以读取数据;完整性,确保数据准确且未被篡改;可用性,确保需要时能够使用数据。NIST 的网络安全框架 2.0 于 2024 年 2 月发布,将相关工作划分为六项职能:治理、识别、防护、检测、响应和恢复。在机器学习中,需要保护的数据包括训练数据及其标签、编码了从这些数据中学到内容的模型权重、用于推理的图像和提示,以及记录这些内容的日志。
核心控制措施#
数据安全由多个层级组成,这样即使一个控制措施失效,也不会导致所有内容暴露:
- 加密:静态数据使用 AES-256 等密码算法加密,传输中的数据则通过 TLS 传输。
- 访问控制:通过角色、多因素身份验证和短期凭据(取代共享密码),为每个人员和服务仅授予其所需的最低权限。
- 密钥与机密管理:加密密钥存放在密钥管理服务或硬件安全模块中,与数据分开,并按计划轮换。API 密钥不得放在源代码和笔记本中。
- 完整性检查与备份:校验和与数字签名可以检测文件是否被篡改;带版本且不可变的备份则可用于从勒索软件攻击或意外删除中恢复。
- 审计日志:记录每一次读取、写入和权限变更,以便发现并调查异常访问,例如某个账户在夜间下载整个数据集。
经过身份验证的加密可以同时提供机密性和完整性。以下示例使用 Python cryptography 软件包中的 Fernet 加密一行标签文件内容,然后检测是否有一位被翻转:
import base64
from cryptography.fernet import Fernet, InvalidToken
# 在生产环境中,密钥应来自密钥管理服务,绝不能与数据一同存储
cipher = Fernet(Fernet.generate_key())
label = b"0 0.48 0.63 0.21 0.37\n" # 一行 YOLO 标注
token = cipher.encrypt(label) # AES-128-CBC 密文加 HMAC-SHA256 标签
print(cipher.decrypt(token) == label)
# 翻转存储密文中的一位,模拟篡改或磁盘损坏
raw = bytearray(base64.urlsafe_b64decode(token))
raw[30] ^= 1
try:
cipher.decrypt(base64.urlsafe_b64encode(bytes(raw)))
except InvalidToken:
print("Integrity check failed: decryption refused")第一行会打印 True,因为未损坏的令牌会解密回原始标签。密文有一位发生变化后,HMAC 标签便不再匹配,因此 decrypt 会引发 InvalidToken,并打印 Integrity check failed: decryption refused,不会返回任何被篡改的数据。
机器学习中的数据安全#
AI 系统增加了普通数据库所没有的攻击面:
- 数据投毒:能够写入数据集、标注队列或抓取网页来源的攻击者,可以插入会导致训练后模型行为异常的样本,而且模型往往只会在隐藏触发条件出现时表现异常。
- 不安全的模型文件:使用 Python 的 pickle 保存的检查点,在加载时可以运行任意代码。PyTorch 2.6 将
torch.load的默认值设为weights_only=True,后者只接受张量和简单类型;safetensors 格式也只存储张量。 - 成员推断攻击:查询训练好的模型可能会泄露某条特定记录是否属于其训练集,因此使用敏感数据训练的权重需要得到与数据本身同等程度的保护。
- 提示注入:文档或网页中隐藏的指令可能导致大语言模型应用泄露上下文中的数据,或通过其工具将数据发送给攻击者。
- 影子 AI:员工将机密数据粘贴到组织未经批准的 AI 工具中,绕过组织的访问控制和日志记录。
计算机视觉数据会带来更高风险,因为人物、住宅、车辆和患者的图像通常包含个人信息。在医疗保健领域,美国医院用于医学图像分析的扫描图像受HIPAA 安全规则约束,该规则要求对电子受保护健康信息采取管理、物理和技术保障措施。使用边缘 AI在摄像头上处理画面,可以让原始视频完全不经过网络;联邦学习可以在各站点保留自身数据的同时训练共享模型;机密 AI则可以在云端的加密硬件隔离区中对敏感数据进行训练或推理。对于必须留在公司网络内部的数据集,Ultralytics Platform 的本地部署集成会在公司自己的计算机上运行数据集导入、预览和训练:工作进程以只读方式挂载数据集文件夹,并通过 HTTPS 向外建立连接,无需开放入站端口;图像像素永远不会传到 Platform,Platform 只会收到标签、指标和最佳检查点。
数据安全与数据隐私#
数据隐私关注个人数据的收集、使用、共享和保留是否合法,以及是否符合事先告知用户的方式,例如遵守 GDPR 等法律。数据安全则提供隐私承诺所依赖的技术和组织保障,并涵盖所有有价值的数据,包括商业机密、源代码,以及不含个人信息的模型权重。差分隐私等隐私增强技术介于两者之间,通过限制已发布的模型或统计结果能够透露的个人信息来保护隐私。安全漏洞在暴露个人数据时就会演变为隐私事件:根据 GDPR 第 33 条,控制者从知悉此类漏洞起有 72 小时通知监管机构,除非该漏洞不太可能危及个人的权利和自由。










