Mesurer les performances de l’IA pour évaluer l’impact de tes innovations

Nous avons déjà exploré les applications de l’IA dans différents secteurs, comme la santé, la fabrication et le tourisme. Nous avons aussi étudié comment l’IA peut améliorer les tâches quotidiennes et présenté des idées d’entreprise novatrices en IA. Toutes ces discussions nous ramènent inévitablement à la même question essentielle : comment mesurer la réussite de ces mises en œuvre de l’IA ? C’est une question importante, car le simple déploiement de solutions d’IA ne suffit pas. C’est en vérifiant que ces solutions produisent réellement des résultats qu’elles peuvent tout changer.

Nous pouvons mesurer les métriques de performance de l’IA pour déterminer si un modèle d’IA améliore véritablement l’efficacité des processus, stimule l’innovation ou résout des problèmes. En nous concentrant sur les bons indicateurs clés de performance (KPI), nous pouvons comprendre dans quelle mesure une solution d’IA fonctionne et où elle pourrait être améliorée.

Dans cet article, nous allons voir comment mesurer la réussite des mises en œuvre de l’IA à l’aide des KPI les plus pertinents. Nous examinerons les différences entre les KPI métier et les KPI de performance de l’IA, passerons en revue des métriques clés comme la précision et le rappel et t’aiderons à choisir les KPI les mieux adaptés à tes solutions d’IA.

Différence entre les KPI métier de l’IA et les KPI de performance de l’IA#

Fig. 1. Comparaison des KPI métier de l’IA et des KPI de performance de l’IA.

Quand tu penses aux KPI, il est naturel de supposer qu’ils concernent tous des indicateurs métier comme le retour sur investissement (ROI), les économies réalisées ou le chiffre d’affaires généré, surtout lorsqu’il est question d’IA d’entreprise. Ces KPI métier de l’IA mesurent l’impact de l’IA sur la réussite globale d’une entreprise et s’alignent sur des objectifs métier plus généraux.

Cependant, les KPI de performance de l’IA se concentrent sur le fonctionnement du système d’IA lui-même, à l’aide d’indicateurs comme l’exactitude, la précision et le rappel. Nous détaillerons ces indicateurs plus loin, mais en substance, tandis que les KPI métier illustrent les avantages financiers et stratégiques de l’IA, les KPI de performance garantissent qu’un modèle d’IA remplit efficacement sa fonction.

Certains indicateurs peuvent en réalité servir ces deux objectifs. Par exemple, les gains d’efficacité, comme la réduction du temps ou des ressources nécessaires à l’exécution d’une tâche, peuvent être à la fois un KPI de performance (qui montre l’efficacité de la solution d’IA) et un KPI métier (qui mesure les économies réalisées et les gains de productivité). La satisfaction client est un autre indicateur transversal. Elle peut refléter la réussite d’un outil de service client basé sur l’IA, à la fois sur le plan de ses performances techniques et de son impact sur les objectifs métier globaux.

Comprendre les principaux indicateurs de performance de l’IA#

Quelques indicateurs courants permettent de mesurer les performances d’un modèle d’IA. Nous allons d’abord examiner leur définition et leur mode de calcul, puis voir comment les suivre.

Précision#

La précision est un indicateur qui mesure à quel point un modèle d’IA identifie correctement les vrais positifs (les cas où le modèle identifie correctement un objet ou une condition comme prévu). Par exemple, dans un système de reconnaissance faciale, un vrai positif correspond au cas où le système reconnaît et identifie correctement le visage d’une personne qu’il a été entraîné à détecter.

Pour calculer la précision, commence par compter le nombre de vrais positifs. Tu peux ensuite diviser ce nombre par le nombre total d’éléments que le modèle a étiquetés comme positifs. Ce total comprend les identifications correctes et les erreurs, appelées faux positifs. En bref, la précision indique à quelle fréquence le modèle a raison lorsqu’il affirme avoir reconnu quelque chose.

Fig. 2. Comprendre la précision.

Cet indicateur est particulièrement important dans les situations où les faux positifs peuvent entraîner des coûts élevés ou des perturbations. Par exemple, dans la fabrication automatisée, un taux de précision élevé signifie que le système peut signaler plus précisément les produits défectueux et éviter de jeter ou de retravailler inutilement des articles conformes. La surveillance de sécurité en est un autre bon exemple. Une précision élevée contribue à réduire les fausses alertes et à se concentrer uniquement sur les menaces réelles nécessitant une intervention de sécurité.

Rappel#

Le rappel permet de mesurer la capacité d’un modèle d’IA à identifier tous les cas pertinents, ou vrais positifs, dans un jeu de données. En termes simples, il indique dans quelle mesure un système d’IA peut repérer tous les cas réels d’une condition ou d’un objet qu’il est conçu pour détecter. Pour le calculer, divise le nombre de détections correctes par le nombre total de cas positifs qui auraient dû être détectés (ce total comprend les cas correctement identifiés par le modèle et ceux qu’il a manqués).

Prenons le cas d’un système d’imagerie médicale basé sur l’IA utilisé pour détecter le cancer. Dans ce contexte, le rappel correspond au pourcentage de cas réels de cancer que le système identifie correctement. Un rappel élevé est essentiel dans ce type de situation, car un cancer non diagnostiqué peut avoir de graves conséquences sur la prise en charge des patients.

Précision et rappel#

La précision et le rappel sont les deux faces d’une même pièce lorsqu’il s’agit d’évaluer les performances d’un modèle d’IA, et il faut souvent trouver un équilibre entre les deux. Le défi est que l’amélioration de l’un de ces indicateurs peut souvent se faire au détriment de l’autre.

Imaginons que tu cherches à augmenter la précision. Le modèle risque de devenir plus sélectif et de n’identifier que les positifs dont il est très sûr. À l’inverse, si tu cherches à améliorer le rappel, le modèle peut identifier davantage de positifs, mais aussi générer plus de faux positifs et donc réduire la précision.

L’essentiel est de trouver le bon équilibre entre précision et rappel en fonction des besoins spécifiques de ton application. La courbe précision-rappel est un outil utile à cet effet : elle montre la relation entre ces deux indicateurs à différents seuils. En analysant cette courbe, tu peux déterminer le point optimal auquel le modèle fonctionne le mieux pour ton cas d’usage. Comprendre ce compromis est utile pour affiner les modèles d’IA afin qu’ils fonctionnent au mieux pour les cas d’usage auxquels ils sont destinés.

Fig. 3. Exemple de courbe précision-rappel.

Précision moyenne (mAP)#

La précision moyenne (mAP) est un indicateur utilisé pour évaluer les performances des modèles d’IA dans des tâches comme la détection d’objets, où le modèle doit identifier et classer plusieurs objets dans une image. La mAP fournit un score unique qui montre les performances du modèle pour toutes les catégories qu’il a été entraîné à reconnaître. Voyons comment elle se calcule.

L’aire sous une courbe précision-rappel donne la précision moyenne (AP) pour cette classe. L’AP mesure la justesse des prédictions du modèle pour une classe spécifique, en tenant compte de la précision et du rappel à différents niveaux de confiance (les niveaux de confiance indiquent le degré de certitude du modèle quant à ses prédictions). Une fois l’AP calculée pour chaque classe, la mAP est obtenue en faisant la moyenne de ces valeurs d’AP sur l’ensemble des classes.

Fig. 4. Précision moyenne de différentes classes.

La mAP est utile dans des applications comme la conduite autonome, où plusieurs objets, tels que des piétons, des véhicules et des panneaux de signalisation, doivent être détectés simultanément. Un score mAP élevé signifie que le modèle offre des performances constantes dans toutes les catégories, ce qui le rend fiable et précis dans un large éventail de situations.

Calculer facilement les indicateurs de performance#

Les formules et les méthodes de calcul des principaux indicateurs de performance de l’IA peuvent sembler intimidantes. Pourtant, des outils comme le package Ultralytics rendent le processus simple et rapide. Que tu travailles sur des tâches de détection d’objets, de segmentation ou de classification, Ultralytics fournit les outils nécessaires pour calculer rapidement des indicateurs importants comme la précision, le rappel et la précision moyenne (mAP).

Pour commencer à calculer les indicateurs de performance avec Ultralytics, tu peux installer le package Ultralytics comme indiqué ci-dessous.

Dans cet exemple, nous allons charger un modèle YOLOv8 pré-entraîné et l’utiliser pour valider les indicateurs de performance, mais tu peux charger n’importe lequel des modèles fournis par Ultralytics pris en charge. Voici comment procéder :

Une fois le modèle chargé, tu peux effectuer une validation sur ton jeu de données. L’extrait de code suivant t’aidera à calculer différents indicateurs de performance, notamment la précision, le rappel et la mAP :

Les outils comme Ultralytics simplifient considérablement le calcul des indicateurs de performance : tu peux ainsi consacrer plus de temps à améliorer ton modèle et moins à te soucier des détails du processus d’évaluation.

Comment mesurer les performances de l’IA après son déploiement ?#

Lors du développement de ton modèle d’IA, il est facile de tester ses performances dans un environnement contrôlé. Cependant, une fois le modèle déployé, la situation peut se compliquer. Heureusement, des outils et des bonnes pratiques peuvent t’aider à surveiller ta solution d’IA après son déploiement.

Des outils comme Prometheus, Grafana et Evidently AI sont conçus pour suivre en continu les performances de ton modèle. Ils peuvent fournir des informations en temps réel, détecter les anomalies et te signaler tout problème potentiel. Ces outils vont au-delà de la surveillance traditionnelle en proposant des solutions automatisées et évolutives, adaptées à la nature dynamique des modèles d’IA en production.

Voici quelques bonnes pratiques à suivre pour mesurer la réussite de ton modèle d’IA après son déploiement :

• Définis des indicateurs de performance clairs : choisis des indicateurs clés comme l’exactitude, la précision et le temps de réponse afin de vérifier régulièrement les performances de ton modèle.
• Vérifie régulièrement la dérive des données : surveille les changements dans les données traitées par ton modèle, car ils peuvent affecter ses prédictions s’ils ne sont pas correctement gérés.
• Effectue des tests A/B : utilise des tests A/B pour comparer les performances de ton modèle actuel à celles de nouvelles versions ou modifications. Tu pourras ainsi évaluer quantitativement les améliorations ou les régressions du comportement du modèle.
• Documente et audite les performances : conserve des journaux détaillés des indicateurs de performance et des modifications apportées à ton système d’IA. C’est essentiel pour les audits, la conformité et l’amélioration de l’architecture de ton modèle au fil du temps.

Choisir les KPI optimaux de l’IA n’est qu’un début#

La réussite du déploiement et de la gestion d’une solution d’IA dépend du choix des bons KPI et de leur mise à jour régulière. Dans l’ensemble, il est essentiel de choisir des indicateurs qui montrent les performances techniques de la solution d’IA et son impact métier. À mesure que la situation évolue, qu’il s’agisse des avancées technologiques ou de changements dans ta stratégie métier, il est important de revoir et d’ajuster ces KPI.

En gardant tes évaluations de performance dynamiques, tu peux maintenir la pertinence et l’efficacité de ton système d’IA. En suivant de près ces indicateurs, tu obtiendras des informations précieuses pour améliorer tes opérations. Une approche proactive garantit que tes initiatives en matière d’IA apportent une réelle valeur et contribuent à faire progresser ton entreprise !

Rejoins notre communauté et innove avec nous ! Explore notre dépôt GitHub pour découvrir nos avancées en IA. Découvre comment nous transformons des secteurs comme la fabrication et la santé grâce à une technologie d’IA pionnière. 🚀