Jailbreaking (AI)

Le jailbreak d’un modèle d’IA consiste à concevoir des entrées qui le poussent à produire une sortie que son développeur l’a entraîné ou lui a demandé de refuser, comme un logiciel malveillant, des instructions de fabrication d’armes ou du harcèlement. Les cibles sont généralement les grands modèles de langage (LLMs) et les modèles vision-langage (VLMs), entraînés à refuser les demandes préjudiciables, et le terme vient du jailbreak des téléphones visant à supprimer les restrictions du fabricant. Un jailbreak agit entièrement par les entrées du modèle : toute personne ayant accès à une fenêtre de chat peut donc en tenter un, ce qui fait de la résistance aux jailbreaks un enjeu central de la sécurité de l’IA et le principal aspect évalué par le red teaming de l’IA avant la mise en production d’un modèle.

Pourquoi les jailbreaks fonctionnent#

Une étude de 2023, « Jailbreaké : comment l’entraînement à la sécurité des LLM échoue-t-il ? », a attribué les jailbreaks réussis à deux modes de défaillance de l’entraînement à la sécurité :

• Objectifs contradictoires : un modèle est entraîné à la fois pour suivre les instructions de manière utile et pour refuser les demandes préjudiciables. Les invites qui font passer un refus pour un manque d’utilité, par exemple des scénarios de jeu de rôle ou une instruction demandant de commencer la réponse par « Bien sûr, voici », opposent ces deux objectifs.
• Généralisation inadéquate : le préentraînement confère au modèle des capacités que l’entraînement à la sécurité n’a jamais couvertes. Une demande préjudiciable encodée en Base64, rédigée dans une langue peu dotée ou enveloppée dans un chiffrement exploite ces capacités sans déclencher les refus appris par le modèle en anglais courant.

Techniques courantes de jailbreak#

• Invites de persona et de jeu de rôle : les invites « DAN » (« Do Anything Now », « Fais tout maintenant »), qui ont circulé pour ChatGPT à partir de la fin de 2022, demandaient au modèle de jouer le rôle d’une IA sans restrictions.
• Obfuscation : l’encodage, les fautes d’orthographe, les chiffrements et la traduction dissimulent la demande à l’entraînement à la sécurité, alors que le modèle peut tout de même la décoder.
• Jailbreak par de nombreux exemples : l’attaquant remplit une longue fenêtre de contexte avec des centaines de faux dialogues où un assistant répond favorablement à des demandes préjudiciables ; l’apprentissage en contexte reproduit alors ce schéma dans la réponse réelle.
• Escalade en plusieurs tours : l’attaque Crescendo de Microsoft commence par des questions anodines et fait progressivement évoluer la conversation, tour après tour, vers l’objectif interdit.
• Suffixes adversariaux optimisés : la méthode GCG effectue une recherche guidée par gradient sur des modèles à poids ouverts afin de trouver des chaînes de jetons incohérents qui, ajoutées à une demande, inhibent les refus ; ces chaînes ont également fonctionné sur des modèles fermés comme ChatGPT, Bard et Claude.
• Invites typographiques dans des images : l’attaque FigStep représente une demande préjudiciable sous forme de texte typographique dans une image, ce qui lui permet de contourner les modèles VLM dont l’entraînement à la sécurité ne couvrait que le texte.

Jailbreaks et attaques associées#

• Injection de prompt : un contenu non fiable, comme une page Web consultée par un agent, dissimule des instructions qui détournent la tâche d’une application, par exemple pour divulguer les données d’un utilisateur. Le jailbreak cible l’entraînement à la sécurité du modèle lui-même. Le Top 10 OWASP des applications LLM classe le jailbreak comme une forme d’injection de prompt, et les attaques réelles combinent souvent les deux.
• Attaques adversariales : de petites perturbations des entrées qui provoquent des prédictions erronées. Les suffixes GCG sont des exemples adversariaux utilisés pour le jailbreak, tandis qu’un patch imprimé qui dissimule une personne à un détecteur d’objets constitue uniquement une attaque adversariale, car le détecteur n’a pas de politique de sécurité à contourner.
• Red teaming de l’IA : tests autorisés au cours desquels des équipes de sécurité tentent des jailbreaks pour trouver et corriger les faiblesses avant que les attaquants ne les exploitent.

Se défendre contre les jailbreaks#

Aucune défense unique ne bloque tous les jailbreaks ; les systèmes de production superposent donc des couches indépendantes. L’entraînement à la sécurité par apprentissage par renforcement à partir de retours humains (RLHF) ou par IA constitutionnelle apprend au modèle à refuser ; des classificateurs filtrent les entrées et les sorties, et des garde-fous limitent ce qu’un agent peut faire même si le modèle est trompé.

Les classificateurs sont efficaces parce qu’un jailbreak doit tromper à la fois le modèle et chaque filtre. Les modèles Llama Guard de Meta classent les invites et les réponses selon une politique de sécurité, et les classificateurs d’images remplissent le même rôle pour les générateurs d’images : un modèle de classification Ultralytics YOLO26, ajusté finement sur des images étiquetées comme sûres ou non, vérifie chaque image générée, quelle que soit l’invite qui l’a produite. Les défenses sont évaluées à l’aide de benchmarks partagés, tels que JailbreakBench, qui suit le taux de réussite des attaques sur 100 comportements abusifs. Au cours de plus de 3 000 heures estimées de red teaming, personne n’a trouvé de jailbreak universel contre une première version des classificateurs constitutionnels d’Anthropic ; la version de nouvelle génération, publiée en janvier 2026, ajoute environ 1 % de surcharge de calcul et a refusé 0,05 % des requêtes inoffensives au cours d’un mois de trafic en production.