AI Governance

Управление ИИ — это совокупность политик, ролей, процессов и записей, с помощью которых организация решает, какие системы искусственного интеллекта создавать или покупать, кто отвечает за каждую из них, какие доказательства нужны перед выпуском и как системы отслеживают, изменяют и выводят из эксплуатации. Этика ИИ определяет ценности, которых организация хочет придерживаться при использовании ИИ. Управление превращает эти ценности в права принятия решений и документированные проверки, применяемые ко всем системам на протяжении жизненного цикла: от большой языковой модели-ассистента, приобретённого у поставщика, до внутренней модели компьютерного зрения на производственной линии.

Нормативные документы и регулирование#

Большинство программ управления ИИ опирается на несколько базовых системных документов:

• Система управления рисками ИИ NIST: Добровольная система, опубликованная в США в январе 2023 года и организованная по четырём функциям. Функция Govern определяет политики и ответственность, Map устанавливает контекст и предполагаемое применение каждой системы, Measure оценивает риски с помощью тестов и метрик, а Manage расставляет приоритеты рисков и снижает их.
• ISO/IEC 42001: Опубликованный в декабре 2023 года первый международный стандарт для системы менеджмента ИИ. Организации могут пройти аудит и сертификацию на соответствие ему, подобно тому как они проходят сертификацию в области информационной безопасности по ISO/IEC 27001.
• Принципы ОЭСР в области ИИ: Принятые в 2019 году и обновлённые в 2024 году, они лежат в основе многих национальных политик и дают другим системам общую терминологию.

Профиль NIST для генеративного ИИ, NIST AI 600-1 (июль 2024 года), применяет систему управления рисками к таким рискам, как галлюцинации и инъекция промпта.

Закон ЕС об ИИ — это регулирование на основе оценки рисков, вступившее в силу в августе 2024 года и вводимое поэтапно. Запреты на такие практики, как социальный скоринг и распознавание эмоций на рабочих местах и в школах, а также требование грамотности в области ИИ действуют с 2 февраля 2025 года; требования к поставщикам моделей ИИ общего назначения — с 2 августа 2025 года; а требования к прозрачности, например раскрытие информации о дипфейках, — с 2 августа 2026 года. Цифровой омнибус ЕС по ИИ, вступивший в силу 27 июля 2026 года, перенёс требования к высокорисковым системам из приложения III, например системам найма и кредитного скоринга, на 2 декабря 2027 года, а требования к ИИ в регулируемых продуктах, таких как медицинские изделия и оборудование, — на 2 августа 2028 года. Эти требования охватывают управление рисками, управление данными, ведение журналов, надзор со стороны человека и оценку соответствия.

Основные меры контроля#

Сначала нужно составить реестр, поскольку организация не может управлять системами, о которых ей неизвестно. Полный реестр содержит владельца, назначение, источники данных, версии моделей и поставщиков для каждой системы и помогает выявить теневой ИИ — инструменты, внедрённые командами без проверки. Для моделей, созданных внутри организации, такую роль часто выполняет реестр моделей.

Затем системы распределяют по уровням риска в зависимости от назначения, автономности, затрагиваемых людей и цены ошибок. Модель, которая ранжирует внутренние документы, требует менее строгой проверки, чем система отбора кандидатов на работу или управления оборудованием; для более высоких уровней нужны тщательное тестирование, согласование и человеческий контроль.

Документация позволяет проверять решения. В карточках моделей фиксируют предполагаемое применение, результаты оценки и известные ограничения, а записи о происхождении данных показывают, откуда получены обучающие данные и на каких условиях лицензии или согласия. В той же записи нужно фиксировать воспроизводимость: точную версию набора данных, базовую модель, версию кода и настройки каждой кандидатной модели, чтобы проверяющий мог проследить путь любой развёрнутой модели до её входных данных. Для моделей компьютерного зрения, обученных на Ultralytics Platform, каждый запуск сохраняет сведения о родительской модели, версии Ultralytics, среде хоста и Git-коммите, если они указаны; сохранённая версия набора данных точно фиксирует изображения и метки, использованные для обучения.

Испытания предоставляют доказательства для утверждения. Пороговые значения приёмки задаются для каждого варианта использования до получения результатов. Испытания охватывают точность для значимых подгрупп, чтобы выявлять предвзятость ИИ, устойчивость к изменившимся входным данным, например слабому освещению или новому углу камеры, и безопасность, часто с помощью редтиминга ИИ. Национальный центр кибербезопасности Великобритании и партнёрские ведомства публикуют рекомендации по безопасной разработке систем ИИ, охватывающие проектирование, разработку, развёртывание и эксплуатацию.

После выпуска мониторинг моделей отслеживает производительность и дрейф данных; процесс реагирования на инциденты определяет, кто может приостановить или откатить систему, а процесс вывода из эксплуатации удаляет больше не нужные модели и данные. Эти меры связывают права принятия решений: для каждой системы управление определяет, кто утверждает развёртывание, кто может остановить систему и кто принимает оставшийся после тестирования риск.

Чем управление ИИ отличается от связанных практик#

• Регулирование: Законодательные требования извне. Управление — это внутренняя система организации; с её помощью организация также показывает, что соблюдает требования.
• Управление рисками: Выявление, оценка и снижение конкретных рисков. Управление определяет, кто выполняет эту работу, кто принимает остаточный риск и как фиксируются решения.
• MLOps: Конвейеры обучения, развёртывания и сопровождения моделей. Управление задаёт контрольные этапы утверждения и требования к документации для этих конвейеров.
• Безопасность ИИ: Техническое направление, изучающее, как обеспечить заданное поведение систем ИИ. Управление определяет, как результаты исследований безопасности влияют на то, что организация вправе выпускать.