Лицензия YOLO
Назад к глоссарию Ultralytics

AI Red Teaming

При тестировании ИИ методом red teaming системы ИИ атакуют с помощью имитации действий противника и неправомерного использования, чтобы выявить обходы защиты, утечки данных, вредоносные результаты и недостатки устойчивости.

Редтиминг ИИ — это структурированное состязательное тестирование, при котором люди и автоматизированные инструменты выступают в роли злоумышленников или недобросовестных пользователей и ищут способы заставить систему искусственного интеллекта (AI) дать сбой, раскрыть данные или причинить вред до её выпуска. Название пришло из военных учений и кибербезопасности, где красная команда атакует защиту организации. Команды тестируют как поведение модели, так и окружающее её программное обеспечение: можно ли уговорить большую языковую модель (LLM) дать опасные инструкции, направить ли ИИ-агента на неправомерное использование инструментов или обмануть ли модель компьютерного зрения с помощью наклейки. В соответствии с Законом ЕС об ИИ поставщики моделей ИИ общего назначения с системными рисками должны проводить и документировать состязательное тестирование своих моделей.

Как работает красная команда ИИ#

Учение начинается с модели угроз: кто может атаковать систему или злоупотреблять ею, какую выгоду он может получить и какие последствия наиболее важны для конкретной сферы применения. Затем специалисты создают атаки, проверяют их на целевой системе и оценивают ответы. Каждая успешная атака становится находкой, на основе которой применяют меры защиты: например, проводят дополнительное дообучение, добавляют новые защитные механизмы ИИ или ужесточают разрешения для инструментов. После этого систему с мерами защиты атакуют снова.

Участники красной команды привносят креативность и отраслевую экспертизу. Исследователи Anthropic выпустили набор данных из 38 961 атаки красной команды, созданных краудворкерами против моделей с 2,7–52 миллиардами параметров. Они обнаружили, что модели, обученные с помощью обучения с подкреплением на основе обратной связи от людей (RLHF), становились устойчивее к атакам красной команды по мере роста, тогда как другие проверенные типы моделей — нет. Автоматизация расширяет пространство поиска: исследователи DeepMind использовали одну языковую модель для генерации тестовых примеров для другой и обнаружили десятки тысяч оскорбительных ответов у чат-бота с 280 миллиардами параметров. Инструменты с открытым исходным кодом, такие как PyRIT от Microsoft и garak от NVIDIA, автоматизируют одношаговые и многошаговые атаки и оценивают ответы, а база знаний MITRE ATLAS описывает тактики противников, нацеленные на системы ИИ, по образцу фреймворка ATT&CK.

Что проверяют красные команды#

  • Обход ограничений модели: Запросы, ролевые игры или длинные диалоги, которые заставляют модель создавать материалы, от которых её обучение безопасности должно было бы удержать.
  • Инъекция в запрос: Инструкции, скрытые в документах, веб-страницах, электронных письмах или изображениях, которые перехватывают управление приложением или агентом на базе LLM.
  • Утечки данных: Извлечение запомненных персональных данных или скрытого системного запроса либо демонстрация того, что конкретная запись присутствовала в обучающем наборе.
  • Вредная предвзятость: Ответы, в которых люди становятся объектами стереотипов или к группам относятся по-разному.
  • Галлюцинации: Уверенно высказанные ложные утверждения в ситуациях, когда пользователи действуют на основе ответа, например при юридических или медицинских вопросах.
  • Опасные возможности: Существенная помощь в кибератаках или создании биологического оружия, которую проверяют отраслевые эксперты до выпуска передовой модели.

Редтиминг моделей компьютерного зрения#

Команды, проверяющие модели компьютерного зрения, ищут физические состязательные атаки, например распечатанные патчи, скрывающие человека от детектора, условия освещения и погоды, отсутствовавшие в обучающих данных, а также триггеры бэкдоров, внедрённые с помощью отравления данных. Простой вариант автоматизации применяет к изображению список преобразований и отмечает те, которые меняют то, что видит модель. В примере ниже на Ultralytics YOLO26 с помощью режима predict, который принимает изображения OpenCV напрямую, имитируются ночь, туман, смаз из-за движения и перевёрнутая камера, после чего подсчитываются люди, которых модель продолжает обнаруживать на улице:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

В этом тесте YOLO26 по-прежнему находит всех 4 человек ночью, в тумане и при перевёрнутой камере, но сильный смаз из-за движения снижает число до 2, а низкое разрешение — до 3. Каждое условие, при котором число обнаруженных людей падает ниже исходного, становится находкой. Устранить её можно с помощью аугментации данных, которая имитирует это условие во время обучения, новых обучающих изображений или документированного ограничения на область применения модели.

Редтиминг ИИ пересекается с несколькими практиками, с которыми его часто путают:

  • Тестирование на проникновение: Ищет эксплуатируемые уязвимости в сетях и программном обеспечении. Редтиминг ИИ также проверяет поведение модели, которое носит вероятностный характер: запрос, не сработавший с первой попытки, может сработать при повторной.
  • Бенчмарки: Оценивают модель на фиксированном тестовом наборе. Красные команды открыто ищут сбои, а найденные ими успешные атаки часто становятся тестовыми наборами для последующих моделей.
  • Безопасность ИИ: Более широкая область, цель которой — не допустить, чтобы системы ИИ причиняли вред. Она включает редтиминг, обучение безопасности, исследования интерпретируемости и мониторинг развёрнутых систем.

Красная команда Microsoft по ИИ сформулировала восемь выводов из редтиминга более 100 продуктов генеративного ИИ. Один из них: «Чтобы сломать систему ИИ, не обязательно вычислять градиенты». Простые методы, например разработка запросов, часто работали не хуже атак на основе градиентов, для которых необходим полный доступ к модели, недоступный для большинства коммерческих систем ИИ.

Изучи решения

Компьютерное зрение в спорте

Компьютерное зрение в спорте

Узнай, как Ultralytics YOLO обеспечивает компьютерное зрение в спорте: отслеживание игроков и мяча, аналитика результатов, полезные выводы для тренеров и реабилитация спортсменов.
Подробнее
Компьютерное зрение для аэросъёмки

Компьютерное зрение для аэросъёмки

Превращай снимки с дронов и аэрофотоснимки в полезные данные в реальном времени для сельского хозяйства, аквакультуры, охраны природы и геопространственного анализа с Ultralytics YOLO.
Подробнее
Компьютерное зрение в аэрокосмической отрасли

Компьютерное зрение в аэрокосмической отрасли

Применяй компьютерное зрение в аэрокосмической отрасли с Ultralytics YOLO: для осмотра самолётов, обнаружения посторонних предметов на взлётно-посадочных полосах, наземного обслуживания аэропортов и выявления дефектов композитных материалов.
Подробнее
Компьютерное зрение в сфере безопасности

Компьютерное зрение в сфере безопасности

Защити любой объект с помощью моделей Ultralytics YOLO. ИИ на базе компьютерного зрения обеспечивает мониторинг периметра, обнаружение угроз, распознавание номерных знаков и безопасность на рабочем месте.
Подробнее
Компьютерное зрение в робототехнике

Компьютерное зрение в робототехнике

Создавай более интеллектуальные машины с моделями Ultralytics YOLO. ИИ на базе компьютерного зрения в робототехнике обеспечивает автономную навигацию, восприятие, отслеживание объектов и управление в реальном времени.
Подробнее
Компьютерное зрение в логистике

Компьютерное зрение в логистике

Оптимизируй логистику с моделями Ultralytics YOLO. Визуальный AI обеспечивает проверку посылок, сортировку, отслеживание транспорта и мониторинг безопасности на складе в реальном времени.
Подробнее
Компьютерное зрение в розничной торговле

Компьютерное зрение в розничной торговле

Переосмысли розничную торговлю с моделями Ultralytics YOLO. Визуальный AI обеспечивает отслеживание запасов, мониторинг полок, управление очередями и более глубокое понимание поведения покупателей.
Подробнее
Компьютерное зрение в здравоохранении

Компьютерное зрение в здравоохранении

Создавай решения для здравоохранения с моделями Ultralytics YOLO. Визуальный AI в здравоохранении ускоряет медицинскую визуализацию, улучшает диагностику и мониторинг пациентов.
Подробнее
Компьютерное зрение в производстве

Компьютерное зрение в производстве

Оптимизируй производство с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ обеспечивает контроль качества, обнаружение дефектов, контроль использования СИЗ и автоматизацию сборочных линий.
Подробнее
Компьютерное зрение в автомобильной отрасли

Компьютерное зрение в автомобильной отрасли

Применяй компьютерное зрение в автомобильной отрасли с моделями Ultralytics YOLO. Компьютерное зрение на базе ИИ повышает безопасность дорожного движения, улучшает помощь водителю и автоматизацию автомобилей, делая дороги умнее.
Подробнее
Компьютерное зрение в сельском хозяйстве

Компьютерное зрение в сельском хозяйстве

Внедряй ИИ для компьютерного зрения в умное сельское хозяйство с моделями Ultralytics YOLO. Используй их для мониторинга посевов, отслеживания скота и точного земледелия, чтобы повысить урожайность и эффективность.
Подробнее

Давай вместе строить будущее ИИ!

Начни свой путь в будущее машинного обучения