人工智能安全

人工智能安全是人工智能（AI）的一个专门领域，致力于防止人工智能系统产生意外和有害后果。随着模型变得越来越强大和自主，确保其运行可靠、可预测并符合人类价值观至关重要。人工智能安全的主要目标是了解、预测和减轻潜在风险，这些风险既包括系统故障导致的短期事故，也包括与高度发达的人工智能相关的长期问题。这一领域将技术研究与实际实施相结合，以构建稳健、可信的深度学习系统。

人工智能安全的关键支柱

人工智能安全研究侧重于几个核心领域，以确保系统的可靠性和行为符合预期。这些支柱对于负责任地开发和部署人工智能模型至关重要。

• 鲁棒性：即使面对意想不到或被操纵的输入，人工智能系统也应表现可靠。这里的一个关键挑战是抵御对抗性攻击，即设计恶意输入以导致模型失效。例如，Ultralytics YOLO11这样的安全关键型物体检测模型必须具备强大的鲁棒性，以抵御可能导致其错误识别物体的轻微、不易察觉的图像修改。
• 可解释性：这包括使人工智能的决策过程能够为人类所理解。可解释性也被称为可解释的人工智能（XAI），它有助于开发人员调试模型、验证其推理并建立用户信任。
• 一致性：这一支柱的重点是确保人工智能的目标和行为符合人类的意图和价值观。随着人工智能系统变得越来越自主，防止它们追求可能导致负面结果的非预期目标是一个核心问题，机器智能研究所（MIRI）等机构正在探索这一概念。
• 控制：这指的是我们监督人工智能系统的能力，以及在必要时关闭人工智能系统而不被其抵制或找到变通办法的能力。开发可靠的 "关闭开关 "是保持对强大人工智能控制的一个基本方面。

人工智能安全与人工智能伦理

虽然人工智能安全和人工智能伦理密切相关，但它们涉及负责任人工智能的不同方面。

• 人工智能安全主要是一门技术学科，侧重于预防事故和意外伤害行为。它涉及的问题包括："这个系统在所有条件下都能按设计运行吗？"以及 "我们如何防止模型因失误而造成伤害？"其重点在于可靠性和可预测性。
• 人工智能伦理是一个更广泛的领域，涉及人工智能的道德含义和社会影响。它涉及公平性、算法偏见、数据隐私和问责制等问题。它提出的问题包括："我们是否应该建立这个系统？"以及 "使用它的社会后果是什么？"

简而言之，人工智能的安全性确保人工智能做它应该做的事情，而人工智能的道德性则确保它应该做的事情是好的。两者对于负责任的人工智能开发都至关重要。

实际应用

人工智能安全原则已被应用于关键领域，以最大限度地降低风险。

1. 自动驾驶汽车：自动驾驶汽车依赖于广泛的人工智能安全措施。它们的感知系统必须非常强大，才能在恶劣天气或传感器被部分遮挡的情况下正常工作。系统内置冗余，因此如果一个系统（如摄像头）出现故障，其他系统（如激光雷达）可以接替。决策算法要经过严格的模拟测试，以处理无数的边缘情况，这也是Waymo 等公司安全研究的核心做法。
2. 医疗保健：在医学图像分析中，诊断疾病的人工智能模型必须高度可靠。人工智能安全技术用于确保模型不仅能提供诊断结果，还能显示其置信度。如果模型不确定，它可以将病例标记出来供人类审查，从而防止误诊。这种 "人在回路中 "的方法是人工智能驱动的医疗解决方案的关键安全功能。

OpenAI 安全研究和谷歌 DeepMind 安全与对齐团队等领先研究机构正在积极应对这些挑战。NIST 人工智能风险管理框架等框架为企业实施安全实践提供了指导。随着人工智能技术的发展，人工智能安全领域对于利用其优势同时避免其潜在隐患将变得更加重要。如需了解更多信息，您可以浏览人工智能安全中心和未来生命研究所的资源。持续的模型监控和维护是确保长期安全的另一个关键做法。