AI Safety

La sécurité de l’IA est le domaine de recherche et d’ingénierie qui vise à empêcher les systèmes d’intelligence artificielle (IA) de causer des dommages, que ce soit par accident, par usage délibérément malveillant ou parce qu’ils poursuivent des objectifs non voulus par leurs développeurs. Elle couvre les systèmes d’apprentissage automatique déployés, comme la chaîne de perception d’un véhicule autonome ou un agent conversationnel de service client, ainsi que les modèles d’IA de pointe plus performants et les agents développés par les laboratoires. Ce travail englobe la recherche technique, les pratiques d’évaluation et les cadres utilisés par les entreprises et les gouvernements pour décider si un système est suffisamment sûr pour être mis en service.

Problèmes fondamentaux de la sécurité de l’IA#

L’article de 2016 Concrete Problems in AI Safety, rédigé par des chercheurs de Google Brain, OpenAI, Stanford et UC Berkeley, a présenté les accidents liés à l’apprentissage automatique comme cinq problèmes de recherche illustrés par un robot nettoyeur ; ils structurent encore une grande partie du domaine :

• Éviter les effets secondaires négatifs : un robot récompensé uniquement pour la propreté du sol n’a aucune raison d’éviter de renverser un vase en chemin.
• Piratage de la récompense : respecter à la lettre un objectif tout en en détournant le but, par exemple en recouvrant le désordre d’un matériau que la caméra du robot ne peut pas voir.
• Supervision évolutive : entraîner de bons comportements lorsque vérifier chaque action coûte trop cher, par exemple en demandant seulement de temps en temps à une personne si la pièce est propre.
• Exploration sûre : permettre à un agent apprenant d’essayer de nouvelles actions sans en tenter de catastrophiques, comme introduire une serpillière mouillée dans une prise électrique.
• Robustesse face au décalage de distribution : reconnaître les entrées différentes de celles de l’environnement d’entraînement et agir avec prudence, par exemple lorsqu’un robot entraîné dans un bureau est déplacé dans une usine.

Chaque problème est devenu un domaine de recherche à part entière. La supervision évolutive est devenue un axe central de la recherche sur la superalignement, qui étudie comment superviser des systèmes plus performants que leurs superviseurs ; l’exploration sûre constitue une contrainte de l’apprentissage par renforcement ; et le décalage de distribution apparaît dans les systèmes en production sous la forme de dérive des données.

Origines des risques liés à l’IA#

L’article de 2025 de Google DeepMind, An Approach to Technical AGI Safety and Security, classe les risques graves en quatre domaines, distingués selon la personne ou la chose responsable du préjudice :

Chaque domaine appelle des mesures de protection différentes. On lutte contre les usages malveillants par l’entraînement au refus, les garde-fous de l’IA et la restriction de l’accès aux capacités dangereuses. Le désalignement est difficile à évaluer, car un modèle désaligné peut se comporter correctement lorsqu’il est observé : des études ont mis en évidence la simulation de l’alignement pendant l’entraînement, le sous-performancement délibéré lors des évaluations, des agents dormants dotés de portes dérobées qui résistent à l’entraînement de sécurité et un désalignement émergent après un ajustement fin ciblé. La robustesse, les tests et la surveillance réduisent les erreurs ; les risques structurels, comme les préjudices issus de la concurrence entre de nombreux développeurs ou des interactions entre de nombreux agents d’IA, relèvent principalement de la gouvernance.

Méthodes mises en pratique#

Les travaux sur la sécurité s’étendent à tout le cycle de vie d’un modèle. Pendant l’entraînement, l’apprentissage par renforcement à partir de retours humains (RLHF) et l’IA constitutionnelle façonnent ce qu’un modèle fera ou ne fera pas. Avant la publication, l’équipe rouge IA et les évaluations des capacités dangereuses cherchent les défaillances ; l’interprétabilité mécaniste examine les calculs internes afin de détecter des objectifs que les seules sorties ne révéleraient pas. Les cadres de sécurité des modèles de pointe, comme la politique de mise à l’échelle responsable d’Anthropic, définissent des seuils de capacités à partir desquels un modèle exige des mesures de sécurité et de déploiement renforcées.

Après le déploiement, la surveillance des modèles détecte les entrées auxquelles le modèle n’a jamais été soumis lors des tests. La surveillance du déploiement sur la plateforme Ultralytics trace au fil du temps la distribution des confiances et leur moyenne pour un point de terminaison YOLO26 déployé ; une baisse après le déplacement d’une caméra ou un changement d’éclairage signale donc que les entrées s’éloignent des données d’entraînement. Les systèmes qui agissent dans le monde physique ont aussi besoin d’un mode de repli, comme la condition de risque minimal définie pour les véhicules automatisés : un arrêt sûr auquel le véhicule passe lorsque son système de conduite automatisée ne peut plus continuer.

Sécurité de l’IA et domaines connexes#

La sécurité de l’IA recoupe plusieurs domaines souvent utilisés comme synonymes :

• Éthique de l’IA : s’interroge sur ce que les systèmes d’IA devraient faire et au bénéfice de qui, en abordant l’équité, la vie privée et la responsabilité. Les préjudices tels que les décisions biaisées relèvent des deux domaines.
• Sécurité informatique de l’IA : protège les systèmes d’IA contre les attaquants grâce à des défenses contre les exemples adversariaux, l’empoisonnement des données, l’injection de prompts et le vol de modèles.
• Alignement de l’IA : sous-domaine de la sécurité de l’IA qui vise à faire en sorte qu’un système poursuive les objectifs voulus par ses développeurs ; il traite le domaine du désalignement présenté plus haut.
• Gouvernance de l’IA : lois, normes et politiques internes qui déterminent la manière de concevoir et de mettre en service les systèmes d’IA, comme les niveaux de risque de la loi européenne sur l’IA.

Les frontières évoluent avec les politiques : en février 2025, le Royaume-Uni a renommé son AI Safety Institute, organisme gouvernemental qui teste les modèles de pointe avant leur mise en service, en AI Security Institute, afin de se concentrer sur les risques liés à la sécurité, comme les cyberattaques, la fraude et la mise au point d’armes chimiques et biologiques.