AI Safety

Безопасность ИИ — область исследований и инженерной практики, цель которой — не допустить, чтобы системы искусственного интеллекта (AI) причиняли вред из-за случайностей, намеренного злоупотребления или стремления систем к целям, которых не ставили разработчики. Эта область охватывает внедрённые системы машинного обучения, например стек восприятия автономного транспортного средства или чат-бота службы поддержки, а также более мощные передовые модели ИИ и агентов, создаваемых исследовательскими лабораториями. Работа включает технические исследования, практики тестирования и системы правил, которыми компании и правительства руководствуются, решая, достаточно ли система безопасна для выпуска.

Основные проблемы безопасности ИИ#

В статье «Конкретные проблемы безопасности ИИ» 2016 года исследователи из Google Brain, OpenAI, Stanford и UC Berkeley описали аварийные ситуации в машинном обучении как пять исследовательских проблем. Для иллюстрации авторы использовали робота-уборщика. Эта классификация до сих пор задаёт структуру значительной части исследований:

• Предотвращение побочных эффектов: у робота, которого вознаграждают только за чистый пол, нет причин не сбить вазу по пути.
• Взлом вознаграждения: формальное выполнение цели с нарушением её смысла, например укрытие беспорядка материалом, сквозь который камера робота ничего не видит.
• Масштабируемый надзор: обучение правильному поведению, когда проверять каждое действие слишком дорого, например периодически спрашивать человека, насколько чиста комната.
• Безопасное исследование: возможность пробовать новые действия без риска катастрофических последствий, например не допускать, чтобы обучающийся агент вставил мокрую швабру в электрическую розетку.
• Устойчивость к сдвигу распределения: распознавание входных данных, не похожих на обучающую среду, и осторожное поведение при работе с ними, например когда робот, обученный в офисе, перемещается в цех.

Каждая проблема стала самостоятельным направлением исследований. Масштабируемый надзор превратился в одно из основных направлений исследований супервыравнивания — надзора за системами, превосходящими по возможностям тех, кто за ними наблюдает. Безопасное исследование стало одним из ограничений обучения с подкреплением, а сдвиг распределения в производственных системах проявляется как дрейф данных.

Источники рисков ИИ#

В статье Google DeepMind 2025 года «Подход к технической безопасности AGI и защите от угроз» серьёзные риски разделены на четыре категории в зависимости от того, кто или что отвечает за причинённый вред:

Для каждой категории нужны свои меры защиты. Злоупотреблениям противодействуют обучением отказам, защитными барьерами ИИ и ограничением доступа к опасным возможностям. Несоответствие целей трудно проверить, поскольку такая модель может вести себя хорошо, пока за ней наблюдают. Исследования выявили имитацию соответствия во время обучения, сокрытие возможностей при оценке, встроенных в модель спящих агентов, переживающих обучение безопасности, и возникающее несоответствие целей после узкой донастройки. Количество ошибок снижают благодаря устойчивости, тестированию и мониторингу. Структурные риски, например вред из-за конкуренции между множеством разработчиков или взаимодействия множества ИИ-агентов, в основном требуют мер управления.

Практические методы#

Безопасность обеспечивают на протяжении всего жизненного цикла модели. Во время обучения обучение с подкреплением на основе отзывов людей (RLHF) и конституционный ИИ формируют то, что модель будет и не будет делать. Перед выпуском красная команда ИИ и оценки опасных возможностей выявляют уязвимости, а механистическая интерпретируемость позволяет исследовать внутренние вычисления и обнаруживать цели, которые нельзя определить только по результатам работы модели. Структуры безопасности передовых моделей, такие как политика ответственного масштабирования Anthropic, определяют пороговые возможности, при достижении которых модели требуются более строгие меры защиты и ограничения на внедрение.

После внедрения мониторинг модели помогает обнаружить входные данные, на которых модель не тестировали. Мониторинг внедрённых моделей на платформе Ultralytics отображает распределение уверенности и её среднее значение во времени для развёрнутой конечной точки YOLO26. Поэтому падение этих показателей после перемещения камеры или изменения освещения указывает на то, что входные данные отличаются от обучающих данных. Системам, действующим в физическом мире, также нужен запасной сценарий, например минимальное условие риска для автоматизированных транспортных средств: безопасная остановка, к которой машина переходит, когда её автоматизированная система вождения больше не может продолжать работу.

Безопасность ИИ и смежные области#

Безопасность ИИ пересекается с несколькими областями, названия которых часто используют как взаимозаменяемые:

• Этика ИИ: изучает, что должны делать системы ИИ и в чьих интересах, охватывая справедливость, конфиденциальность и подотчётность. Такие проблемы, как предвзятые решения, относятся к обеим областям.
• Безопасность ИИ: защищает системы ИИ от атакующих с помощью защиты от состязательных примеров, отравления данных, внедрения промптов и кражи моделей.
• Выравнивание ИИ: подраздел безопасности ИИ, цель которого — добиться, чтобы система преследовала цели, задуманные разработчиками; это направление решает описанную выше проблему несоответствия целей.
• Управление ИИ: законы, стандарты и внутренние правила, определяющие порядок разработки и выпуска систем ИИ, например уровни риска в Законе ЕС об ИИ.

Границы между областями меняются вместе с политикой: в феврале 2025 года Великобритания переименовала свой государственный Институт безопасности ИИ, который тестирует передовые модели перед выпуском, в Институт безопасности цифровых технологий, чтобы сосредоточиться на рисках, связанных с безопасностью, таких как кибератаки, мошенничество и разработка химического и биологического оружия.