Sécurité de l'IA

La sécurité de l'IA est un domaine spécialisé au sein de l'intelligence artificielle (IA). l'intelligence artificielle (IA), dont l'objectif est de garantir que les systèmes d'IA fonctionnent de manière fiable, prévisible et sans causer de dommages involontaires. Au fur et à mesure que les modèles d'apprentissage profond les modèles d'apprentissage profond (DL) deviennent de plus en plus autonomes et intégrés dans les infrastructures critiques, les conséquences potentielles des défaillances du système augmentent considérablement. L'objectif premier de la sécurité de l'IA L'objectif premier de la sécurité de l'IA est d'identifier, d'analyser et d'atténuer les risques découlant de problèmes techniques, de comportements inattendus ou d'un mauvais alignement des systèmes. comportements inattendus ou d'un mauvais alignement entre les objectifs de l'IA et les valeurs humaines. Cette discipline englobe un large éventail de pratiques, depuis les tests rigoureux de modèles jusqu'au développement de garanties mathématiques pour le comportement du système.

Les piliers de la sécurité de l'IA

Pour construire des systèmes fiables, les chercheurs et les ingénieurs se concentrent sur plusieurs piliers fondamentaux qui garantissent que que les modèles d'apprentissage machine (ML) fonctionnent correctement dans des conditions variées.

• Robustesse : Un système robuste doit maintenir ses performances même lorsqu'il est confronté à des données inattendues ou à des conditions contradictoires. inattendues ou des conditions adverses. Cela implique de se défendre contre contre les attaques adverses, où des entrées malveillantes malveillantes sont élaborées pour tromper un modèle. Par exemple, un système de système de vision par ordinateur ne doit pas mal classer un panneau d'arrêt simplement à cause d'un autocollant ou d'un mauvais éclairage.
• L'alignement : Il s'agit du défi que représente la conception de systèmes d'IA dont les objectifs reflètent fidèlement les les intentions humaines. Un désalignement peut se produire si un modèle trouve un "raccourci" pour atteindre un score élevé dans sa fonction de perte tout en violant les contraintes de sécurité, un problème de sécurité qui peut être résolu par un processus d'apprentissage. de perte tout en violant les contraintes de sécurité, un concept concept largement étudié par le Center for Human-Compatible AI.
• Interprétabilité : Également connu sous le nom de l 'IA explicable (XAI), ce principe met l'accent sur la création de modèles que les humains peuvent comprendre. met l'accent sur la création de modèles que les humains peuvent comprendre. Si un système de prise de décision échoue, les ingénieurs doivent pouvoir inspecter les poids du modèle interne ou les cartes d'activation d'activation pour diagnostiquer l'erreur et éviter qu'elle ne se reproduise.
• Surveillance : La surveillance continue du modèle du modèle est essentielle pour detect la dérive des données, c'est-à-dire lorsque les données qu'un dans le monde réel divergent de ses données d'apprentissage, ce qui peut conduire à des prédictions peu sûres.

Applications concrètes

La sécurité de l'IA n'est pas seulement théorique ; c'est une condition essentielle au déploiement de l'IA dans les secteurs de l'automobile et des soins de santé. l'IA dans les secteurs de l'automobile et de la santé.

1. Conduite autonome : Les véhicules à conduite autonome s'appuient sur modèles de détection d'objets pour identifier les piétons, les autres véhicules et les obstacles. Les protocoles de sécurité impliquent la redondance (utilisation de LiDAR et de radars en plus des caméras) et l'"estimation de l'incertitude". "l'estimation de l'incertitude" : la voiture ralentit ou demande une intervention humaine si l'IA n'est pas sûre d'un objet. d'un objet. Des organisations comme Waymo publient des méthodologies de sécurité détaillées pour valider ces systèmes de perception. détaillées pour valider ces systèmes de perception.
2. Diagnostic médical : Dans l'analyse l'analyse d'images médicales, l'IA qui assiste radiologues doit maximiser la précision tout en minimisant les faux négatifs. Les mécanismes de sécurité comprennent souvent un flux de travail "humain dans la boucle", où l'IA ne fait que signaler les problèmes potentiels pour examen par le médecin plutôt que de poser un diagnostic final de manière autonome, garantissant ainsi la sécurité du patient. l'IA ne fait que signaler des problèmes potentiels à l'examen du médecin plutôt que de poser un diagnostic final de manière autonome, ce qui garantit que la sécurité du patient est une priorité, comme cela a été mis en évidence. priorité à la sécurité des patients, comme le souligne L 'IA dans les solutions de santé.

Mise en œuvre des seuils de sécurité dans le code

Une méthode de base pour améliorer la sécurité lors du déploiement consiste à mettre en œuvre des seuils de confiance stricts. En ignorant les En ignorant les prédictions de faible confiance, les développeurs peuvent empêcher un agent d'IA d'agir sur des données faibles ou bruyantes.

L'exemple suivant montre comment filtrer les prédictions à l'aide de la fonction Ultralytics YOLO11 d'Ultralytics, en s'assurant que seules les sont traitées.

from ultralytics import YOLO

# Load the YOLO11 model for object detection
model = YOLO("yolo11n.pt")

# Perform inference on an image with a strict confidence threshold
# This ensures the model only reports objects it is at least 70% sure about
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.70)

# Process only the safe, high-confidence detections
for result in results:
    print(f"Detected {len(result.boxes)} objects exceeding safety threshold.")

Sécurité de l'IA vs. Éthique de l'IA

Bien qu'ils soient souvent utilisés de manière interchangeable, ces termes traitent de différents aspects du développement responsable de l'IA. développement responsable de l'IA.

• La sécurité de l'IA est avant tout technique. Elle pose la question suivante : "Ce système fonctionnera-t-il comme prévu sans tomber en panne ou provoquer des accidents physiques ? sans tomber en panne ni provoquer d'accidents physiques ?" Elle traite de la fiabilité, du contrôle et de la prévention des erreurs, à l'instar de l'ingénierie de la sécurité dans l'aviation civile. l'ingénierie de la sécurité dans l'aviation civile.
• L'éthique de l'IA est sociétale et morale. Elle pose la question suivante : "Ce système est-il juste et devons-nous le construire ?". Elle se concentre sur des questions telles que les biais algorithmiques, la confidentialité des données et l'impact socio-économique, la confidentialité des données et l'impact socio-économique de l'automatisation. l'automatisation. Pour en savoir plus, consultez notre glossaire sur l'éthique de l'IA. Éthique de l'IA.

Des cadres tels que le NIST AI Risk Management Framework (Cadre de gestion des risques liés à l'IA du NIST ) des lignes directrices permettant aux organisations d'aborder les risques de sécurité et d'éthique. Au fur et à mesure que les modèles évoluent vers l'intelligence artificielle générale (AGI), la collaboration entre les chercheurs en sécurité d'instituts tels que le Future of Life Institute et les développeurs de l'industrie devient de plus en plus vitale pour assurer la sécurité des personnes. Future of Life Institute et les développeurs de l'industrie devient de plus en plus vitale pour pour s'assurer que la technologie reste bénéfique pour l'humanité.