AI Governance
AI 治理决定谁可以构建、批准和退役 AI 系统，以及需要依据哪些证据。NIST AI RMF、ISO/IEC 42001、《欧盟人工智能法案》和核心控制措施。
AI 治理是一套政策、角色、流程和记录，组织借此决定要构建或采购哪些人工智能系统、每个系统由谁负责、发布前需要哪些证据，以及如何监控、变更和退役系统。AI 伦理界定组织希望 AI 遵循的价值观。治理会将这些价值观转化为决策权限和书面检查流程，适用于系统的整个生命周期，涵盖从供应商采购的大型语言模型助手，到生产线上自研的计算机视觉模型。
框架与法规#
大多数治理计划都基于少数几个参考框架：
- NIST AI 风险管理框架：这是美国于 2023 年 1 月发布的自愿性框架，由四项职能组成。Govern 负责制定政策并明确问责机制；Map 负责确定每个系统的背景和预期用途；Measure 通过测试和指标评估风险；Manage 则对风险进行优先级排序并加以处置。
- ISO/IEC 42001：该标准于 2023 年 12 月发布，是首个 AI 管理体系国际标准。组织可以接受审核并获得认证，就像根据信息安全标准 ISO/IEC 27001 进行审核和认证一样。
- OECD AI Principles：该原则于 2019 年通过，并于 2024 年更新，构成许多国家政策的基础，也为其他框架提供共同术语。
美国国家标准与技术研究院（NIST）的生成式 AI 风险管理框架（NIST AI 600-1，2024 年 7 月）将风险管理框架应用于幻觉和提示注入等风险。
欧盟《人工智能法案》是一项基于风险的法规，于 2024 年 8 月生效，并分阶段实施。自 2025 年 2 月 2 日起，社会评分以及在工作场所和学校进行情绪识别等行为已被禁止，同时开始实施AI 素养义务；通用 AI 模型提供者的义务自 2025 年 8 月 2 日起生效；披露深度伪造等透明度义务自 2026 年 8 月 2 日起生效。自 2026 年 7 月 27 日起生效的《人工智能数字综合条例》将附件 III 所列高风险系统（如招聘和信用评分）的要求推迟至 2027 年 12 月 2 日，并将医疗器械和机械等受监管产品中的 AI 要求推迟至 2028 年 8 月 2 日。这些要求涵盖风险管理、数据治理、日志记录、人类监督和合格评定。
核心控制措施#
首先要建立清单，因为组织无法治理自己不了解的系统。完整清单会记录每个系统的所有者、用途、数据来源、模型版本和供应商，并揭示影子 AI：即团队未经审查便采用的工具。对于内部构建的模型，模型注册表通常可以充当这份清单。
接下来要按用途、自主程度、受影响人员和错误代价，将系统划分为不同风险等级。对内部文档进行排序的模型所需的审查，可以少于筛选求职者或控制机械的模型；风险等级越高，测试、审批和人工监督就越严格。
文档记录能让决策接受审查。模型卡会记录预期用途、评估结果和已知局限；数据溯源记录则会说明训练数据的来源，以及适用的许可或同意条件。可复现性也应记录在案：每个候选模型所用的准确数据集版本、基础模型、代码版本和设置，以便审核者追溯任何已部署模型的输入。对于在 Ultralytics Platform 上训练的视觉模型，每次运行都会记录其父模型、Ultralytics 版本、主机环境，以及在有报告时记录的 Git 提交；保存的数据集版本则会固定模型训练所用的确切图像和标签。
测试为审批提供证据。每种用例都会在结果产生前设定验收阈值；测试会检查相关子群体的准确率，以发现AI 偏差，检查模型对低光或新相机角度等输入变化的稳健性，并检查安全性，通常会使用AI 红队测试。英国国家网络安全中心（NCSC）及其合作机构发布的安全 AI 系统开发指南涵盖设计、开发、部署和运维。
发布后，模型监控会跟踪性能和数据漂移；事件处理流程会明确谁可以暂停或回滚系统；退役流程则会移除不再需要的模型和数据。决策权限将这些控制措施联系起来：对于每个系统，治理框架都会明确谁批准部署、谁有权叫停，以及谁接受测试后仍然存在的风险。
