Jailbreaking (AI)

Взлом ИИ-модели — это создание входных данных, которые заставляют её выдавать результаты, от которых разработчик обучил или настроил модель отказываться, например вредоносное ПО, инструкции по созданию оружия или оскорбления. Целями обычно становятся большие языковые модели (LLMs) и модели компьютерного зрения и языка (VLMs), обученные соблюдать правила безопасности и отклонять вредоносные запросы; название происходит от взлома телефонов с целью снять ограничения производителя. Взлом целиком осуществляется через входные данные модели, поэтому попробовать его может любой, у кого есть доступ к окну чата. Поэтому устойчивость к взлому — ключевой аспект безопасности ИИ и основная цель красной команды по ИИ при проверке модели перед выпуском.

Почему взломы работают#

В исследовании 2023 года «Jailbroken: как не справляется обучение безопасности LLM?» успешные взломы объясняются двумя сбоями обучения безопасности:

• Конфликтующие цели: Модель обучают и полезно следовать инструкциям, и отказывать во вредоносных запросах. Подсказки, которые выставляют отказ как неспособность быть полезной, например ролевые сценарии или инструкция начать ответ словами «Конечно, вот», сталкивают эти две цели.
• Несогласованное обобщение: Предварительное обучение даёт модели возможности, которые обучение безопасности не охватывало. Вредоносный запрос, закодированный в Base64, написанный на языке с малым количеством ресурсов или зашифрованный, задействует эти возможности, не вызывая отказов, которым модель научилась на обычном английском.

Распространённые методы взлома#

• Подсказки с персонами и ролевой игрой: Подсказки «DAN» («Делай что угодно прямо сейчас»), распространявшиеся для ChatGPT с конца 2022 года, предлагали модели сыграть роль ИИ без ограничений.
• Обфускация: Кодирование, орфографические ошибки, шифры и перевод скрывают запрос от обучения безопасности, хотя модель всё ещё может его расшифровать.
• Взлом с множеством примеров: Злоумышленник заполняет длинное контекстное окно сотнями поддельных диалогов, в которых ассистент выполняет вредоносные запросы, и обучение в контексте переносит эту закономерность в настоящий ответ.
• Эскалация в несколько ходов: Атака Crescendo от Microsoft начинается с безобидных вопросов и постепенно, ход за ходом, направляет разговор к запрещённой цели.
• Оптимизированные состязательные суффиксы: Метод GCG выполняет поиск с направлением градиента на моделях с открытыми весами, чтобы найти строки из бессмысленных токенов, которые, добавленные к запросу, подавляют отказы. Эти строки переносились и на закрытые модели, такие как ChatGPT, Bard и Claude.
• Подсказки с типографикой на изображениях: Атака FigStep отображает вредоносный запрос в виде текста на изображении и обходит VLM, обучение безопасности которых охватывало только текст.

Взлом и смежные атаки#

• Инъекция в запрос: Недоверенное содержимое, например веб-страница, которую читает агент, незаметно добавляет инструкции, перехватывающие задачу приложения, например для утечки пользовательских данных. Взлом направлен на обучение безопасности самой модели. В OWASP Top 10 для приложений LLM взлом классифицируется как разновидность инъекции в запрос, и реальные атаки часто сочетают оба метода.
• Состязательные атаки: Небольшие возмущения входных данных, вызывающие неверные предсказания. Суффиксы GCG — это состязательные примеры для взлома, а напечатанная наклейка, скрывающая человека от детектора объектов, представляет собой только состязательную атаку, поскольку у детектора нет политики безопасности, которую можно обойти.
• Красная команда по ИИ: Уполномоченная проверка, в ходе которой специалисты по безопасности пытаются взломать модели, чтобы найти и устранить уязвимости раньше злоумышленников.

Защита от взломов#

Ни одна защита не останавливает все взломы, поэтому в промышленных системах применяют несколько независимых уровней защиты. Обучение безопасности с помощью обучения с подкреплением на основе обратной связи от людей (RLHF) или конституционного ИИ учит модель отказывать; классификаторы входных и выходных данных проверяют всё, что поступает в систему и выходит из неё; а защитные механизмы ограничивают возможности агента, даже если модель удалось обмануть.

Классификаторы эффективны, потому что взлому нужно одновременно обмануть модель и каждый фильтр. Модели Llama Guard от Meta проверяют запросы и ответы на соответствие политике безопасности, а классификаторы изображений выполняют ту же функцию для генераторов изображений: модель классификации Ultralytics YOLO26, дообученная на размеченных безопасных и небезопасных изображениях, проверяет каждое созданное изображение независимо от породившего его запроса. Защиту оценивают на общих тестовых наборах, таких как JailbreakBench, который отслеживает успешность атак на 100 видов неправомерного использования. За более чем 3 000 предполагаемых часов проверки красной командой никто не нашёл универсальный способ взломать раннюю версию Constitutional Classifiers от Anthropic. Версия следующего поколения, выпущенная в январе 2026 года, добавляет около 1% накладных расходов на вычисления и за месяц работы в промышленной среде отклонила 0,05% безвредных запросов.