AI Guardrails

As proteções de IA são verificações colocadas em torno de um modelo de inteligência artificial (AI) que inspecionam o que entra nele, o que sai dele e quais ações ele pode executar, bloqueando ou redirecionando qualquer coisa que viole uma política. Elas ficam fora dos pesos do modelo: uma proteção pode impedir uma resposta nociva, o vazamento de um número de telefone ou um reembolso não autorizado, mesmo quando o modelo de linguagem grande (LLM) subjacente foi induzido a produzi-los. As proteções complementam o treinamento de segurança, como o aprendizado por reforço com feedback humano (RLHF), impondo limites ao aplicativo inteiro, independentemente do comportamento típico do próprio modelo.

Tipos de Proteções de IA#

As proteções são agrupadas de acordo com onde atuam. As proteções de entrada examinam prompts, arquivos enviados e documentos recuperados antes que o modelo os veja, procurando injeção de prompt, tentativas de jailbreak, dados pessoais ou solicitações fora do tópico. As proteções de saída verificam as respostas antes que cheguem ao usuário ou ao software subsequente, procurando conteúdo nocivo, segredos vazados, alucinações que contradigam documentos de origem ou saídas estruturadas que violem um esquema exigido.

As proteções de ação limitam as ferramentas que um agente de IA pode chamar, com quais argumentos e permissões, e exigem aprovação humana para etapas importantes, como pagamentos, exclusões ou envio de e-mails; o isolamento em sandbox de agentes isola qualquer código executado pelo agente. As proteções de diálogo mantêm uma conversa dentro dos tópicos aprovados, como um assistente bancário que recusa perguntas médicas.

Como as Proteções São Implementadas#

Muitas proteções são classificadores. O Llama Guard da Meta, apresentado em 2023, é um LLM ajustado por sintonia fina para classificar prompts e respostas como seguros ou inseguros segundo uma taxonomia de categorias de risco. Os Classificadores Constitucionais da Anthropic, treinados com dados sintéticos gerados a partir de uma lista escrita de conteúdos permitidos e proibidos, reduziram de 86% para 4,4% a taxa de sucesso de 10.000 tentativas automatizadas de jailbreak no Claude 3.5 Sonnet, aumentando em 0,38% as recusas no tráfego de produção e acrescentando 23,7% de sobrecarga computacional. Outras proteções são regras: expressões regulares para números de cartão de crédito, listas de permissões de ferramentas e esquemas para argumentos de ferramentas. Estruturas como o NeMo Guardrails da NVIDIA e o Guardrails AI combinam os dois tipos em pipelines configuráveis.

A validação de esquema é a proteção de ação mais simples de implementar. O exemplo abaixo usa o Pydantic para verificar solicitações de reembolso propostas por um agente LLM antes de executá-las:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

A primeira chamada imprime Executed refund of $49.99 for A104233, e a segunda imprime Blocked: Input should be less than or equal to 200; assim, a instrução injetada nunca chega ao sistema de pagamento, por mais convincente que tenha sido sua formulação.

Proteções em Pipelines de Visão#

Os sistemas de visão usam proteções para decidir quando a saída de um modelo é confiável o suficiente para orientar uma ação. Nos agentes da Ultralytics Platform, um bloco Gate controla a execução subsequente com uma condição baseada nos resultados do YOLO26: o modelo YOLO to VLM Monitor executa um modelo de visão e linguagem somente quando pelo menos uma pessoa é detectada. A imagiologia médica e os veículos autônomos usam o mesmo padrão, encaminhando achados incertos a profissionais clínicos e recorrendo a uma parada segura quando a percepção falha.

Proteções vs. Termos Relacionados#

• Segurança de IA: O campo amplo de prevenção de danos causados pela IA. As proteções são uma das ferramentas desse campo usadas no momento da implantação.
• IA Constitucional: Treina princípios diretamente no modelo. As proteções impõem regras externamente, por isso continuam funcionando quando o treinamento falha.
• Governança de IA: As políticas e leis que determinam o que um sistema de IA pode fazer. As proteções são os controles técnicos que aplicam essas decisões durante a execução.
• Red teaming de IA: Ataca um sistema para encontrar as brechas deixadas abertas pelas proteções.

As proteções também têm custos em velocidade e utilidade: cada classificador acrescenta latência de inferência, e um classificador mais rigoroso recusa mais solicitações legítimas. Os protótipos de Classificadores Constitucionais da Anthropic resistiram a mais de 3.000 horas de red teaming de recompensa por bugs sem que se encontrasse um jailbreak universal, mas recusaram consultas inofensivas em excesso e exigiram computação demais.