AI Guardrails

Защитные механизмы ИИ — это проверки вокруг модели искусственного интеллекта (AI), которые анализируют входные и выходные данные, а также разрешённые действия и блокируют или перенаправляют всё, что нарушает правила. Они находятся вне весов модели: защитный механизм может остановить вредный ответ, утечку номера телефона или несанкционированное возмещение средств, даже если базовую большую языковую модель (LLM) удалось обманом заставить выдать такой результат. Защитные механизмы дополняют обучение безопасности, например обучение с подкреплением на основе отзывов людей (RLHF), поскольку устанавливают ограничения для всего приложения независимо от склонностей самой модели.

Типы защитных механизмов ИИ#

Защитные механизмы классифицируют по месту применения. Механизмы для входных данных проверяют промпты, загруженные файлы и извлечённые документы до того, как их увидит модель, и ищут внедрение промптов, попытки джейлбрейка, персональные данные или запросы не по теме. Механизмы для выходных данных проверяют ответы до того, как те попадут к пользователю или в последующее ПО, выявляя вредоносный контент, утечку секретов, галлюцинации, противоречащие исходным документам, или структурированные выходные данные, не соответствующие обязательной схеме.

Защитные механизмы действий ограничивают доступные ИИ-агенту инструменты, допустимые аргументы и разрешения, а для важных действий, таких как платежи, удаление данных или отправка электронных писем, требуют одобрения человека; изоляция среды агента защищает систему от выполняемого агентом кода. Защитные механизмы диалога удерживают разговор в рамках разрешённых тем — например, банковский помощник отклоняет медицинские вопросы.

Как реализованы защитные механизмы#

Многие защитные механизмы — это классификаторы. Llama Guard от Meta, представленный в 2023 году, — это LLM с тонкой настройкой, которая классифицирует промпты и ответы как безопасные или небезопасные по таксономии категорий риска. Конституционные классификаторы Anthropic, обученные на синтетических данных, сгенерированных по письменному перечню разрешённого и запрещённого контента, снизили долю успешных результатов при 10 000 автоматизированных попыток джейлбрейка с 86% до 4,4% на Claude 3.5 Sonnet. При этом число отказов на реальных запросах выросло на 0,38%, а вычислительные затраты — на 23,7%. Другие защитные механизмы основаны на правилах: регулярные выражения для номеров кредитных карт, списки разрешённых инструментов и схемы аргументов инструментов. Такие фреймворки, как NeMo Guardrails от NVIDIA и Guardrails AI, объединяют оба подхода в настраиваемые конвейеры.

Проверка схемы — простейший защитный механизм для действий. В приведённом ниже примере Pydantic проверяет предложенные агентом на основе LLM запросы на возврат средств до их выполнения:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

Первый вызов выводит Executed refund of $49.99 for A104233, а второй — Blocked: Input should be less than or equal to 200, поэтому внедрённая инструкция не попадёт в платёжную систему, как бы убедительно она ни звучала.

Защитные механизмы в конвейерах компьютерного зрения#

Системы компьютерного зрения используют защитные механизмы, чтобы решать, достаточно ли надёжен выход модели для выполнения действия. В агентах Ultralytics Platform блок Gate управляет дальнейшим выполнением на основе условия, применённого к результатам YOLO26: шаблон YOLO to VLM Monitor запускает модель «зрение — язык», только если обнаружен хотя бы один человек. Тот же подход используют в медицинской визуализации и автономных автомобилях: сомнительные результаты направляют врачам, а при сбое восприятия системы безопасно останавливаются.

Защитные механизмы и смежные понятия#

• Безопасность ИИ: Широкая область, посвящённая предотвращению вреда от ИИ. Защитные механизмы — один из инструментов обеспечения безопасности при развёртывании.
• Конституционный ИИ: Обучает саму модель следовать принципам. Защитные механизмы применяют правила извне, поэтому продолжают работать и при неудачном обучении.
• Управление ИИ: Политики и законы, определяющие, что может делать система ИИ. Защитные механизмы — технические средства, которые обеспечивают соблюдение этих решений во время работы системы.
• Red teaming ИИ: Атакует систему, чтобы выявить лазейки, оставленные защитными механизмами.

Защитные механизмы также снижают скорость и полезность: каждый классификатор увеличивает задержку инференса, а более строгий механизм чаще отклоняет допустимые запросы. Прототип конституционных классификаторов Anthropic выдержал более 3 000 часов red teaming в рамках программы поиска уязвимостей и не допустил универсального джейлбрейка, однако отклонял слишком много безобидных запросов и требовал слишком много вычислительных ресурсов.