AI Guardrails

Le protezioni per l'IA sono controlli applicati attorno a un modello di intelligenza artificiale (AI) che ispezionano gli input, gli output e le azioni che il modello può eseguire, bloccando o reindirizzando tutto ciò che viola una policy. Operano al di fuori dei pesi del modello: una protezione può bloccare una risposta dannosa, un numero di telefono divulgato o un rimborso non autorizzato anche quando il modello linguistico di grandi dimensioni (LLM) sottostante è stato indotto a produrli. Le protezioni integrano l'addestramento alla sicurezza, come l'apprendimento per rinforzo dal feedback umano (RLHF), applicando limiti all'intera applicazione, indipendentemente dal comportamento abituale del modello.

Tipi di protezioni per l'IA#

Le protezioni si classificano in base al punto in cui intervengono. Le protezioni sugli input esaminano prompt, file caricati e documenti recuperati prima che il modello li riceva, cercando prompt injection, tentativi di jailbreak, dati personali o richieste fuori tema. Le protezioni sugli output controllano le risposte prima che raggiungano l'utente o il software a valle, verificando la presenza di contenuti dannosi, segreti divulgati, allucinazioni in contrasto con i documenti di origine o output strutturati che non rispettano lo schema richiesto.

Le protezioni sulle azioni limitano gli strumenti che un agente IA può chiamare, gli argomenti e le autorizzazioni disponibili, e richiedono l'approvazione di una persona per operazioni importanti come pagamenti, eliminazioni o invio di email; la sandbox per gli agenti isola il codice eseguito dall'agente. Le protezioni del dialogo mantengono la conversazione entro gli argomenti approvati, come nel caso di un assistente bancario che rifiuta le domande mediche.

Implementazione delle protezioni#

Molte protezioni sono classificatori. Llama Guard di Meta, presentato nel 2023, è un LLM sottoposto a fine-tuning per classificare prompt e risposte come sicuri o non sicuri secondo una tassonomia di categorie di rischio. I Classificatori costituzionali di Anthropic, addestrati su dati sintetici generati a partire da un elenco scritto di contenuti consentiti e vietati, hanno ridotto dal 86% al 4,4% il tasso di successo di 10.000 tentativi automatizzati di jailbreak su Claude 3.5 Sonnet, aumentando però dello 0,38% i rifiuti sul traffico di produzione e aggiungendo un sovraccarico di calcolo del 23,7%. Altre protezioni sono regole: espressioni regolari per i numeri delle carte di credito, elenchi di strumenti consentiti e schemi per gli argomenti degli strumenti. Framework come NeMo Guardrails di NVIDIA e Guardrails AI combinano entrambi i tipi in pipeline configurabili.

La convalida degli schemi è la protezione sulle azioni più semplice da realizzare. L'esempio seguente usa Pydantic per convalidare le richieste di rimborso proposte da un agente LLM prima di eseguirle:

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

La prima chiamata stampa Executed refund of $49.99 for A104233 e la seconda stampa Blocked: Input should be less than or equal to 200, quindi l'istruzione iniettata non raggiunge mai il sistema di pagamento, per quanto possa sembrare convincente.

Protezioni nelle pipeline di visione#

I sistemi di visione usano protezioni per decidere quando l'output di un modello è abbastanza affidabile da poter agire. In Ultralytics Platform Agents, un blocco Gate controlla l'esecuzione a valle con una condizione sui risultati di YOLO26: il modello YOLO to VLM Monitor esegue un modello di visione-linguaggio solo quando rileva almeno una persona. L'imaging medico e i veicoli autonomi applicano lo stesso schema, inviando i risultati incerti ai medici e, quando la percezione non funziona, arrestando il sistema in sicurezza.

Protezioni e termini correlati#

• Sicurezza dell'IA: il campo generale che mira a prevenire i danni causati dall'IA. Le protezioni sono uno degli strumenti applicati al momento della distribuzione.
• IA costituzionale: incorpora i principi direttamente nel modello. Le protezioni applicano regole dall'esterno e continuano quindi a funzionare quando l'addestramento non basta.
• Governance dell'IA: l'insieme di policy e leggi che stabilisce cosa può fare un sistema di IA. Le protezioni sono i controlli tecnici che applicano queste decisioni durante l'esecuzione.
• Red teaming dell'IA: attacca un sistema per individuare le falle lasciate aperte dalle sue protezioni.

Le protezioni riducono anche velocità e utilità: ogni classificatore aggiunge latenza di inferenza e un classificatore più rigoroso rifiuta più richieste legittime. Il prototipo di Classificatori costituzionali di Anthropic ha resistito a oltre 3.000 ore di red teaming con ricompense per la segnalazione di bug senza subire un jailbreak universale, ma rifiutava troppe richieste innocue e richiedeva troppo calcolo.