AI安全

人工智能安全是 人工智能 (AI)的一个专门领域，其重点是 确保人工智能系统可靠、可预测地运行，并且不会造成意外伤害。随着 深度学习 (DL)模型变得更加自主 并集成到关键基础设施中，系统故障的潜在后果也会大大增加。人工智能安全的 人工智能安全的主要目标是识别、分析和降低因技术故障、意外行为或系统与系统之间的错位而产生的风险。 行为或人工智能目标与人类价值观不一致所产生的风险。这门学科包含广泛的 实践，从严格的模型测试到 开发系统行为的数学保证。

人工智能安全的核心支柱

为了构建值得信赖的系统，研究人员和工程师重点关注以下几个基本支柱，以确保 机器学习 (ML)模型在不同条件下正确运行 在不同条件下正常运行。

• 鲁棒性：稳健的系统必须在遇到意外数据或对抗性条件时仍能保持性能。 对抗条件时也能保持性能。这包括抵御 对抗性攻击，即恶意输入 恶意输入以欺骗模型。例如 计算机视觉（CV）系统不应 仅仅因为贴纸或光线不好而误判停车标志。
• 对齐：这是指在设计人工智能系统时，如何使其目标准确反映人类的意图。 人类意图。如果一个模型找到了一条 "捷径"，在其损失函数上获得高分，同时又违反了安全约束，那么就会出现不对齐的情况。 如果模型找到了一条 "捷径"，在其损失函数上获得高分，同时又违反了安全约束，那么就会出现不对齐。 人类兼容人工智能中心对这一概念进行了广泛研究。
• 可解释性：也称为 可解释的人工智能（XAI），这一原则 强调创建人类可以理解的模型。如果决策系统出现故障，工程师必须能够 检查内部模型权重或激活 图来诊断错误并防止再次发生。
• 监测：持续 模型监控对于detect 数据漂移。 在这种情况下，模型在现实世界中遇到的数据会偏离其训练数据、 可能导致不安全的预测。

实际应用

人工智能的安全性不仅仅是理论上的，它还是在汽车和医疗保健领域部署人工智能的关键要求。 在汽车和医疗保健领域部署人工智能的关键要求。

1. 自动驾驶：自动驾驶汽车依靠 物体检测模型来识别行人、其他车辆和障碍物、 其他车辆和障碍物。这里的安全协议包括冗余--在使用摄像头的同时使用激光雷达和雷达--以及 "不确定性估计"。 "不确定性估计"，即如果人工智能无法确定物体的位置，汽车会减速或请求人工干预。 不确定性估计"。Waymo等机构发布了详细的安全 方法来验证这些感知系统。
2. 医疗诊断：在 在医学图像分析中，协助 放射科医生必须最大限度地提高准确性，同时最大限度地减少 假阴性。安全机制通常包括 "人在回路中 "的工作流程，即人工智能只标记潜在的问题供医生审查，而不是自主做出最终诊断。 人工智能只标记潜在的问题供医生审查，而不是自主做出最终诊断，以确保患者安全。 医疗解决方案中的人工智能 医疗保健解决方案中的人工智能

在代码中实施安全阈值

提高部署安全性的一个基本方法是实施严格的置信阈值。通过忽略 低置信度预测，开发人员就能防止人工智能代理根据薄弱或嘈杂的数据采取行动。

下面的示例演示了如何使用 Ultralytics YOLO11模型过滤预测，确保只处理高确定性 检测进行处理。

from ultralytics import YOLO

# Load the YOLO11 model for object detection
model = YOLO("yolo11n.pt")

# Perform inference on an image with a strict confidence threshold
# This ensures the model only reports objects it is at least 70% sure about
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.70)

# Process only the safe, high-confidence detections
for result in results:
    print(f"Detected {len(result.boxes)} objects exceeding safety threshold.")

人工智能安全与人工智能伦理

虽然这些术语经常互换使用，但它们涉及负责任的人工智能发展的不同方面。 负责任的人工智能发展。

• 人工智能安全主要是技术性的。它问的是 "这个系统能否按设计运行，而不会 崩溃或造成物理事故？它涉及可靠性、控制和错误预防，类似于 民航安全工程。
• 人工智能伦理是一种社会和道德伦理。它问："这个系统是否公平，我们是否应该建立它？ 它关注的问题包括：算法偏见、数据隐私以及算法对社会经济的影响、 数据隐私以及自动化对社会经济的影响等问题。 自动化的社会经济影响等问题。如需更深入的见解，请浏览我们的术语表中关于 人工智能伦理。

框架，如 NIST 人工智能风险管理框架 等框架为企业应对安全和道德风险提供了指导。随着模型向 随着人工智能（AGI）模型的发展，生命未来研究所等机构的安全研究人员与行业开发人员之间的合作变得越来越重要，以确保安全。 未来生命研究所等机构的安全研究人员与行业开发人员之间的合作变得越来越重要，以确保技术始终造福于人类。 确保技术始终造福于人类。