AI Safety

La sécurité de l’intelligence artificielle est un domaine pluridisciplinaire qui vise à garantir que les systèmes d’intelligence artificielle (AI) fonctionnent de manière fiable, prévisible et bénéfique. Contrairement à la cybersécurité, qui protège les systèmes contre les attaques externes, la sécurité de l’intelligence artificielle traite les risques inhérents à la conception et au fonctionnement du système lui-même. Cela inclut la prévention des conséquences imprévues liées à un mauvais alignement des objectifs, à un manque de robustesse dans de nouveaux environnements ou à des échecs de généralisation de l’apprentissage profond (DL). À mesure que les modèles deviennent plus autonomes, des chercheurs d’organisations telles que le Center for Human-Compatible AI s’efforcent de garantir que ces technologies restent conformes aux intentions humaines et aux normes de sécurité.

Principes fondamentaux d’une intelligence artificielle sûre#

Construire un système sûr nécessite de relever plusieurs défis techniques qui vont au-delà des simples métriques de précision. Ces principes garantissent que les modèles d’apprentissage automatique (ML) restent sous contrôle, même lorsqu’ils sont déployés dans des scénarios complexes du monde réel.

• Robustesse : Un modèle sûr doit conserver ses performances face à des entrées corrompues ou à des changements dans l’environnement. Cela inclut la défense contre les attaques adversariales, dans lesquelles de subtiles manipulations des données d’entrée peuvent tromper un modèle et l’amener à produire des erreurs avec un haut niveau de confiance.
• Alignement : Ce principe garantit que les objectifs d’un système d’intelligence artificielle correspondent véritablement aux intentions de son concepteur. Le défaut d’alignement survient souvent en apprentissage par renforcement, lorsqu’un système apprend à « exploiter » sa fonction de récompense — par exemple, lorsqu’un robot nettoyeur casse un vase pour nettoyer le désordre plus rapidement. Des techniques telles que l’apprentissage par renforcement à partir de retours humains (RLHF) sont utilisées pour limiter ce problème.
• Interprétabilité : Également appelée intelligence artificielle explicable (XAI), elle consiste à rendre les modèles « boîtes noires » plus transparents. La visualisation des cartes de caractéristiques permet aux ingénieurs de comprendre le processus de prise de décision et de vérifier que le modèle ne s’appuie pas sur des corrélations fallacieuses.
• Surveillance : La surveillance continue des modèles est essentielle pour détecter la dérive des données. Les protocoles de sécurité doivent déclencher des alertes ou des mécanismes de repli si les données du monde réel commencent à s’écarter de manière significative des données d’entraînement.

Applications concrètes#

La sécurité de l’intelligence artificielle est primordiale dans les domaines à forts enjeux, où une défaillance algorithmique pourrait entraîner des dommages physiques ou des pertes économiques importantes.

1. Véhicules autonomes : Dans le domaine de l’intelligence artificielle dans l’automobile, les cadres de sécurité définissent la manière dont une voiture réagit face à l’incertitude. Si un modèle de détection d’objets ne peut pas identifier un obstacle avec un niveau de confiance élevé, le système doit revenir à un état sûr — par exemple en freinant — plutôt que de deviner. Les directives de la NHTSA relatives aux véhicules automatisés mettent l’accent sur ces mécanismes de sécurité intégrée.

2. Diagnostic médical : Lorsqu’on applique l’intelligence artificielle dans le domaine de la santé, la sécurité consiste à réduire au minimum les faux négatifs dans les diagnostics critiques. Les systèmes sont souvent réglés pour obtenir un [rappel](https://ultralytics-translation-1.invalid élevé afin de ne manquer aucune affection potentielle, fonctionnant ainsi comme un « second avis » pour les médecins. Des organismes de réglementation tels que le Centre de santé numérique de la FDA définissent des normes rigoureuses pour les logiciels en tant que dispositifs médicaux (SaMD).

Mise en œuvre de seuils de sécurité#

L’un des mécanismes de sécurité les plus élémentaires en vision par ordinateur consiste à utiliser des seuils de confiance. En filtrant les prédictions à faible probabilité pendant l’inférence, les développeurs empêchent les systèmes d’agir sur la base d’informations peu fiables.

L’exemple suivant montre comment appliquer un filtre de sécurité avec Ultralytics YOLO26, afin de s’assurer que seules les détections fiables sont traitées.

from ultralytics import YOLO

# Load the YOLO26 model (latest standard for efficiency)
model = YOLO("yolo26n.pt")

# Run inference with a strict confidence threshold of 0.7 (70%)
# This acts as a safety gate to ignore uncertain predictions
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.7)

# Verify detections meet safety criteria
print(f"Safety Check: {len(results[0].boxes)} objects detected with >70% confidence.")

Sécurité de l’intelligence artificielle et éthique de l’intelligence artificielle#

Bien que ces termes soient souvent utilisés indifféremment, ils désignent des aspects différents d’une intelligence artificielle responsable.

• La sécurité de l’intelligence artificielle est une discipline d’ingénierie technique. Elle pose la question suivante : « Ce système fonctionnera-t-il correctement sans provoquer d’accidents ? » Elle traite des problèmes tels que les hallucinations des modèles et l’exploration sûre en apprentissage par renforcement.
• L’éthique de l’intelligence artificielle est un cadre sociotechnique. Elle pose les questions suivantes : « Devons-nous construire ce système et est-il équitable ? » Elle se concentre sur des problèmes tels que les biais algorithmiques, les droits à la vie privée et la répartition équitable des bénéfices, comme le prévoit le règlement européen sur l’intelligence artificielle.

Perspectives d’avenir#

À mesure que le secteur évolue vers l’intelligence artificielle générale (AGI), la recherche en matière de sécurité devient de plus en plus essentielle. Les organisations peuvent s’appuyer sur la Ultralytics Platform pour gérer leurs jeux de données et superviser le déploiement des modèles, afin de garantir que leurs solutions d’intelligence artificielle restent robustes, transparentes et conformes aux normes de sécurité tout au long de leur cycle de vie.