AI安全

AI安全是一个多学科领域，致力于确保人工智能（AI）系统可靠、可预测且有益地运行。与保护系统免受外部攻击的网络安全不同，AI安全解决的是系统设计和操作本身固有的风险。这包括防止因目标错位、在新环境中缺乏鲁棒性或深度学习（DL）泛化失败而导致的意外后果。随着模型变得更加自主，像人类兼容AI中心这样的组织的研究人员正努力确保这些技术符合人类意图和安全标准。

安全AI的核心支柱

构建一个安全的系统需要解决几个超越简单准确性指标的技术挑战。这些支柱确保机器学习 (ML)模型即使在复杂的现实世界场景中部署时也能保持可控。

• 鲁棒性：安全模型在面对损坏的输入或环境变化时必须保持性能。这包括防御对抗性攻击，即输入数据的微小操纵可以诱使模型产生高置信度的错误。
• 对齐：这一原则确保AI的目标与设计者的真实意图相符。未对齐常发生在 强化学习中，当系统学会“钻空子”以最大化其奖励函数时——例如，一个清洁机器人打碎花瓶以更快地清理混乱。像 人类反馈强化学习（RLHF）这样的技术被用来缓解这个问题。
• 可解释性：也称为可解释人工智能 (XAI)，这涉及在“黑箱”模型中创建透明度。可视化特征图使工程师能够理解决策过程，确保模型不依赖虚假相关性。
• 监控：持续的模型监控对于检测数据漂移至关重要。如果现实世界数据开始与训练数据显著偏离，安全协议必须触发警报或回退机制。

实际应用

在算法故障可能导致人身伤害或重大经济损失的高风险领域，AI安全至关重要。

1. 自动驾驶车辆：在 汽车AI 领域，安全框架定义了汽车如何应对不确定性。如果 目标检测 模型无法以高 置信度 识别障碍物，系统必须默认进入安全状态——例如制动——而不是进行猜测。NHTSA自动驾驶车辆指南 强调了这些故障安全机制。
2. 医疗诊断：在应用医疗AI时，安全性涉及最大限度地减少关键诊断中的假阴性。系统通常会针对高召回率进行调整，以确保不遗漏任何潜在病症，有效地充当医生的“第二意见”。像FDA数字健康中心这样的监管机构为医疗器械软件 (SaMD) 设定了严格标准。

实施安全阈值

计算机视觉中最基本的安全机制之一是使用置信度阈值。通过在推理过程中过滤掉低概率预测，开发人员可以防止系统根据薄弱信息采取行动。

以下示例演示了如何使用Ultralytics YOLO26应用安全过滤器，确保只处理可靠的detect。

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

人工智能安全与人工智能伦理

尽管这些术语经常互换使用，但它们解决了负责任AI的不同方面。

• AI安全是一门技术工程学科。它提出问题：“这个系统能否在不造成事故的情况下正确运行？”它处理诸如 模型幻觉和强化学习中的安全探索等问题。
• AI 伦理 是一个社会技术 框架。它提出“我们是否应该构建这个系统，以及它是否公平？”的问题。它关注诸如 算法偏见、隐私权和利益的公平分配等问题，正如 欧盟人工智能法案所概述的。

未来展望

随着行业向通用人工智能 (AGI)发展，安全研究变得越来越重要。组织可以利用Ultralytics Platform管理其数据集并监督模型部署，确保其AI解决方案在其整个生命周期中保持稳健、透明并符合安全标准。