AI Red Teaming
При тестировании ИИ методом red teaming системы ИИ атакуют с помощью имитации действий противника и неправомерного использования, чтобы выявить обходы защиты, утечки данных, вредоносные результаты и недостатки устойчивости.
Редтиминг ИИ — это структурированное состязательное тестирование, при котором люди и автоматизированные инструменты выступают в роли злоумышленников или недобросовестных пользователей и ищут способы заставить систему искусственного интеллекта (AI) дать сбой, раскрыть данные или причинить вред до её выпуска. Название пришло из военных учений и кибербезопасности, где красная команда атакует защиту организации. Команды тестируют как поведение модели, так и окружающее её программное обеспечение: можно ли уговорить большую языковую модель (LLM) дать опасные инструкции, направить ли ИИ-агента на неправомерное использование инструментов или обмануть ли модель компьютерного зрения с помощью наклейки. В соответствии с Законом ЕС об ИИ поставщики моделей ИИ общего назначения с системными рисками должны проводить и документировать состязательное тестирование своих моделей.
Как работает красная команда ИИ#
Учение начинается с модели угроз: кто может атаковать систему или злоупотреблять ею, какую выгоду он может получить и какие последствия наиболее важны для конкретной сферы применения. Затем специалисты создают атаки, проверяют их на целевой системе и оценивают ответы. Каждая успешная атака становится находкой, на основе которой применяют меры защиты: например, проводят дополнительное дообучение, добавляют новые защитные механизмы ИИ или ужесточают разрешения для инструментов. После этого систему с мерами защиты атакуют снова.
Участники красной команды привносят креативность и отраслевую экспертизу. Исследователи Anthropic выпустили набор данных из 38 961 атаки красной команды, созданных краудворкерами против моделей с 2,7–52 миллиардами параметров. Они обнаружили, что модели, обученные с помощью обучения с подкреплением на основе обратной связи от людей (RLHF), становились устойчивее к атакам красной команды по мере роста, тогда как другие проверенные типы моделей — нет. Автоматизация расширяет пространство поиска: исследователи DeepMind использовали одну языковую модель для генерации тестовых примеров для другой и обнаружили десятки тысяч оскорбительных ответов у чат-бота с 280 миллиардами параметров. Инструменты с открытым исходным кодом, такие как PyRIT от Microsoft и garak от NVIDIA, автоматизируют одношаговые и многошаговые атаки и оценивают ответы, а база знаний MITRE ATLAS описывает тактики противников, нацеленные на системы ИИ, по образцу фреймворка ATT&CK.
Что проверяют красные команды#
- Обход ограничений модели: Запросы, ролевые игры или длинные диалоги, которые заставляют модель создавать материалы, от которых её обучение безопасности должно было бы удержать.
- Инъекция в запрос: Инструкции, скрытые в документах, веб-страницах, электронных письмах или изображениях, которые перехватывают управление приложением или агентом на базе LLM.
- Утечки данных: Извлечение запомненных персональных данных или скрытого системного запроса либо демонстрация того, что конкретная запись присутствовала в обучающем наборе.
- Вредная предвзятость: Ответы, в которых люди становятся объектами стереотипов или к группам относятся по-разному.
- Галлюцинации: Уверенно высказанные ложные утверждения в ситуациях, когда пользователи действуют на основе ответа, например при юридических или медицинских вопросах.
- Опасные возможности: Существенная помощь в кибератаках или создании биологического оружия, которую проверяют отраслевые эксперты до выпуска передовой модели.
Редтиминг моделей компьютерного зрения#
Команды, проверяющие модели компьютерного зрения, ищут физические состязательные атаки, например распечатанные патчи, скрывающие человека от детектора, условия освещения и погоды, отсутствовавшие в обучающих данных, а также триггеры бэкдоров, внедрённые с помощью отравления данных. Простой вариант автоматизации применяет к изображению список преобразований и отмечает те, которые меняют то, что видит модель. В примере ниже на Ultralytics YOLO26 с помощью режима predict, который принимает изображения OpenCV напрямую, имитируются ночь, туман, смаз из-за движения и перевёрнутая камера, после чего подсчитываются люди, которых модель продолжает обнаруживать на улице:
import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS
model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))
# Each attack simulates a condition the detector may meet after deployment
attacks = {
"original": image,
"night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
"fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
"motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
"low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
"upside down": cv2.flip(image, -1),
}
# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
result = model(attacked, verbose=False)[0]
print(f"{name}: {int((result.boxes.cls == 0).sum())} people")В этом тесте YOLO26 по-прежнему находит всех 4 человек ночью, в тумане и при перевёрнутой камере, но сильный смаз из-за движения снижает число до 2, а низкое разрешение — до 3. Каждое условие, при котором число обнаруженных людей падает ниже исходного, становится находкой. Устранить её можно с помощью аугментации данных, которая имитирует это условие во время обучения, новых обучающих изображений или документированного ограничения на область применения модели.
Редтиминг и смежные практики#
Редтиминг ИИ пересекается с несколькими практиками, с которыми его часто путают:
- Тестирование на проникновение: Ищет эксплуатируемые уязвимости в сетях и программном обеспечении. Редтиминг ИИ также проверяет поведение модели, которое носит вероятностный характер: запрос, не сработавший с первой попытки, может сработать при повторной.
- Бенчмарки: Оценивают модель на фиксированном тестовом наборе. Красные команды открыто ищут сбои, а найденные ими успешные атаки часто становятся тестовыми наборами для последующих моделей.
- Безопасность ИИ: Более широкая область, цель которой — не допустить, чтобы системы ИИ причиняли вред. Она включает редтиминг, обучение безопасности, исследования интерпретируемости и мониторинг развёрнутых систем.
Красная команда Microsoft по ИИ сформулировала восемь выводов из редтиминга более 100 продуктов генеративного ИИ. Один из них: «Чтобы сломать систему ИИ, не обязательно вычислять градиенты». Простые методы, например разработка запросов, часто работали не хуже атак на основе градиентов, для которых необходим полный доступ к модели, недоступный для большинства коммерческих систем ИИ.










