AI Guardrails

Les garde-fous de l’IA sont des contrôles placés autour d’un modèle d’intelligence artificielle (AI), qui inspectent ses entrées, ses sorties et les actions qu’il peut effectuer, et bloquent ou redirigent tout élément contraire à une règle. Ils se situent à l’extérieur des poids du modèle : un garde-fou peut bloquer une réponse nuisible, un numéro de téléphone divulgué ou un remboursement non autorisé, même si le grand modèle de langage (LLM) sous-jacent a été amené à les produire. Les garde-fous complètent l’entraînement à la sécurité, comme l’apprentissage par renforcement à partir de retours humains (RLHF), en imposant des limites à l’application entière, quels que soient les comportements habituels du modèle lui-même.

Types de garde-fous de l’IA#

Les garde-fous sont classés selon l’endroit où ils interviennent. Les garde-fous d’entrée filtrent les invites, les fichiers téléversés et les documents récupérés avant que le modèle ne les voie, à la recherche d’injections d’invite, de tentatives de contournement des garde-fous, de données personnelles ou de requêtes hors sujet. Les garde-fous de sortie vérifient les réponses avant qu’elles ne parviennent à l’utilisateur ou aux logiciels en aval, afin de détecter les contenus nuisibles, les secrets divulgués, les hallucinations contredisant les documents sources ou les sorties structurées qui ne respectent pas un schéma exigé.

Les garde-fous d’action limitent les outils qu’un agent d’IA peut appeler, ainsi que les arguments et les autorisations correspondants ; ils exigent une approbation humaine pour les étapes lourdes de conséquences, comme les paiements, les suppressions ou l’envoi de courriels. Le bac à sable d’agent isole tout code exécuté par l’agent. Les garde-fous de dialogue maintiennent la conversation sur des sujets autorisés, par exemple en amenant un assistant bancaire à refuser les questions médicales.

Mise en œuvre des garde-fous#

De nombreux garde-fous sont des classificateurs. Llama Guard de Meta, présenté en 2023, est un LLM ajusté finement pour classer les invites et les réponses comme sûres ou dangereuses selon une taxonomie de catégories de risque. Les classificateurs constitutionnels d’Anthropic, entraînés sur des données synthétiques générées à partir d’une liste écrite de contenus autorisés et interdits, ont réduit de 86 % à 4,4 % le taux de réussite de 10 000 tentatives automatisées de contournement sur Claude 3.5 Sonnet, tout en augmentant de 0,38 % les refus sur le trafic de production et en ajoutant 23,7 % de surcharge de calcul. D’autres garde-fous sont fondés sur des règles : expressions régulières pour les numéros de carte bancaire, listes d’autorisation pour les outils et schémas pour les arguments des outils. Des frameworks comme NeMo Guardrails de NVIDIA et Guardrails AI combinent ces deux types de contrôles dans des pipelines configurables.

La validation de schéma est le garde-fou d’action le plus simple à mettre en place. L’exemple ci-dessous utilise Pydantic pour vérifier les demandes de remboursement proposées par un agent LLM avant leur exécution :

from pydantic import BaseModel, Field, ValidationError


class Refund(BaseModel):
    """Refund action a support agent may request."""

    order_id: str = Field(pattern=r"^A\d{6}$")
    amount: float = Field(gt=0, le=200)  # larger refunds go to a human


# Two tool calls proposed by an LLM; the second follows instructions injected into a customer email
proposals = ['{"order_id": "A104233", "amount": 49.99}', '{"order_id": "A104233", "amount": 5000}']

# Action guardrail: execute only tool calls that pass the schema, block the rest
for proposal in proposals:
    try:
        refund = Refund.model_validate_json(proposal)
        print(f"Executed refund of ${refund.amount} for {refund.order_id}")
    except ValidationError as error:
        print(f"Blocked: {error.errors()[0]['msg']}")

Le premier appel affiche Executed refund of $49.99 for A104233 et le second affiche Blocked: Input should be less than or equal to 200 ; l’instruction injectée n’atteint donc jamais le système de paiement, aussi convaincante que soit sa formulation.

Garde-fous dans les pipelines de vision#

Les systèmes de vision utilisent des garde-fous pour décider si la sortie d’un modèle est assez fiable pour déclencher une action. Dans Ultralytics Platform Agents, un bloc Gate contrôle l’exécution en aval à l’aide d’une condition portant sur les résultats de YOLO26 : le modèle YOLO to VLM Monitor n’exécute un modèle de vision-langage que si au moins une personne est détectée. L’imagerie médicale et les véhicules autonomes appliquent le même principe : ils transmettent les résultats incertains aux cliniciens et s’arrêtent par sécurité en cas de défaillance de la perception.

Garde-fous et termes apparentés#

• Sécurité de l’IA : domaine général visant à prévenir les préjudices liés à l’IA. Les garde-fous sont l’un de ses outils au moment du déploiement.
• IA constitutionnelle : intègre des principes au modèle lui-même. Les garde-fous imposent des règles de l’extérieur et continuent donc de fonctionner même en cas d’échec de l’entraînement.
• Gouvernance de l’IA : politiques et lois qui déterminent ce qu’un système d’IA peut faire. Les garde-fous sont les contrôles techniques qui les appliquent à l’exécution.
• Équipe rouge IA : attaque un système pour trouver les failles laissées ouvertes par ses garde-fous.

Les garde-fous ont aussi un coût en vitesse et en utilité : chaque classificateur ajoute de la latence d’inférence, et un classificateur plus strict refuse davantage de requêtes légitimes. Le prototype de classificateurs constitutionnels d’Anthropic a résisté à plus de 3 000 heures de tests d’intrusion réalisés par une équipe rouge dans le cadre d’un programme de prime aux bogues, sans contournement universel, mais il refusait trop de requêtes inoffensives et exigeait trop de puissance de calcul.