Mesurer la performance de l'IA pour évaluer l'impact de tes innovations

Nous avons déjà exploré comment l'IA peut être utilisée dans différents secteurs comme les soins de santé, la fabrication et le tourisme. Nous avons également examiné comment l'IA peut améliorer les tâches de travail quotidiennes et discuté des principales idées commerciales liées à l'IA. Toutes ces discussions mènent inévitablement à la même question clé : comment pouvons-nous mesurer le succès de telles implémentations d'IA ? C'est une question importante car le simple déploiement de solutions d'IA ne suffit pas. S'assurer que ces solutions donnent réellement des résultats est ce qui les rend révolutionnaires.

Nous pouvons mesurer les métriques de performance de l'IA pour déterminer si un modèle d'IA est réellement efficace pour rendre les processus plus efficaces, stimuler l'innovation ou résoudre des problèmes. En nous concentrant sur les indicateurs clés de performance (KPI) adaptés, nous pouvons comprendre dans quelle mesure une solution d'IA fonctionne et où elle pourrait avoir besoin d'améliorations.

Dans cet article, nous examinerons comment mesurer le succès des implémentations d'IA avec les KPI les plus pertinents. Nous aborderons les différences entre les KPI métier et les KPI de performance de l'IA, passerons en revue les métriques clés telles que la précision et le rappel, et t'aiderons à choisir les meilleurs KPI pour tes solutions d'IA spécifiques.

La différence entre les KPI métier de l'IA et les KPI de performance de l'IA#

Fig 1. Comparaison des KPI métier de l'IA et des KPI de performance de l'IA.

Lorsque tu penses aux KPI, il est naturel de supposer qu'ils concernent tous des métriques commerciales telles que le retour sur investissement (ROI), les économies de coûts ou les revenus générés, en particulier lorsqu'il s'agit d'IA d'entreprise. Ces KPI commerciaux de l'IA mesurent l'impact de l'IA sur le succès global d'une entreprise et s'alignent sur des objectifs commerciaux plus larges.

Cependant, les KPI de performance de l'IA se concentrent sur le bon fonctionnement du système d'IA lui-même, en utilisant des métriques telles que l'exactitude, la précision et le rappel. Nous entrerons dans les détails de ces métriques ci-dessous, mais en substance, tandis que les KPI commerciaux présentent les avantages financiers et stratégiques de l'IA, les KPI de performance garantissent qu'un modèle d'IA fait son travail efficacement.

Certaines métriques peuvent en fait servir aux deux fins. Par exemple, les gains d'efficacité, tels que la réduction du temps ou des ressources nécessaires pour accomplir une tâche, peuvent être à la fois un KPI de performance (montrant le bon fonctionnement de la solution d'IA) et un KPI commercial (mesurant les économies de coûts et les améliorations de productivité). La satisfaction client est une autre métrique croisée. Elle peut refléter le succès d'un outil de service client piloté par l'IA à la fois en termes de performance technique et d'impact sur les objectifs commerciaux globaux.

Comprendre les métriques clés de performance de l'IA#

Il existe quelques métriques courantes utilisées pour mesurer la performance d'un modèle d'IA. D'abord, nous examinerons leur définition et comment elles sont calculées. Ensuite, nous verrons comment ces métriques peuvent être surveillées.

Précision#

La précision est une métrique qui mesure avec quelle exactitude un modèle d'IA identifie les vrais positifs (les cas où le modèle identifie correctement un objet ou une condition comme il est censé le faire). Par exemple, dans un système de reconnaissance faciale, un vrai positif se produirait lorsque le système reconnaît et identifie correctement le visage d'une personne qu'il a été entraîné à détecter.

Pour calculer la précision, compte d'abord le nombre de vrais positifs. Tu peux ensuite diviser cela par le nombre total d'éléments que le modèle a étiquetés comme positifs. Ce total inclut à la fois les identifications correctes et les erreurs, qui sont appelées faux positifs. Essentiellement, la précision te dit à quelle fréquence le modèle a raison lorsqu'il prétend avoir reconnu quelque chose.

Fig 2. Comprendre la précision.

C'est particulièrement important dans les scénarios où les conséquences de faux positifs peuvent être coûteuses ou perturbatrices. Par exemple, dans la fabrication automatisée, un taux de précision élevé indique que le système peut signaler plus précisément les produits défectueux et éviter la mise au rebut ou la retouche inutile de bons articles. Un autre bon exemple est la surveillance de sécurité. Une haute précision aide à minimiser les fausses alarmes et à se concentrer uniquement sur les véritables menaces qui nécessitent une réponse de sécurité.

Rappel#

Le rappel aide à mesurer la capacité d'un modèle d'IA à identifier toutes les instances pertinentes, ou vrais positifs, au sein d'un jeu de données. En termes simples, il représente la capacité d'un système d'IA à capturer tous les cas réels d'une condition ou d'un objet qu'il est conçu pour détecter. Le rappel peut être calculé en divisant le nombre de détections correctes par le nombre total de cas positifs qui auraient dû être détectés (cela inclut à la fois les cas que le modèle a correctement identifiés et ceux qu'il a manqués).

Considère un système d'imagerie médicale activé par l'IA utilisé pour la détection du cancer. Le rappel, dans ce contexte, reflète le pourcentage de cas de cancer réels que le système identifie correctement. Un rappel élevé est vital dans de tels scénarios, car rater un diagnostic de cancer peut entraîner de graves conséquences pour les soins aux patients.

Précision versus rappel#

La précision et le rappel sont comme les deux faces d'une même pièce lorsqu'il s'agit d'évaluer la performance d'un modèle d'IA, et ils nécessitent souvent un équilibre. Le défi est que l'amélioration d'une métrique se fait souvent au détriment de l'autre.

Disons que tu pousses pour une précision plus élevée. Le modèle peut devenir plus sélectif et être capable d'identifier uniquement les positifs dont il est très sûr. D'un autre côté, si tu cherches à améliorer le rappel, le modèle peut identifier plus de positifs, mais cela pourrait inclure davantage de faux positifs et finir par abaisser la précision.

La clé est de trouver le bon équilibre entre la précision et le rappel en fonction des besoins spécifiques de ton application. Un outil utile pour cela est la courbe de précision-rappel, qui montre la relation entre les deux métriques à différents seuils. En analysant cette courbe, tu peux déterminer le point optimal où le modèle performe le mieux pour ton cas d'utilisation spécifique. Comprendre ce compromis aide lors du réglage fin des modèles d'IA pour qu'ils fonctionnent de manière optimale pour leurs cas d'utilisation prévus.

Fig 3. Un exemple de courbe de précision-rappel.

Précision moyenne (mAP)#

La précision moyenne (mAP) est une métrique utilisée pour évaluer la performance des modèles d'IA pour des tâches telles que la détection d'objets, où le modèle doit identifier et classifier plusieurs objets dans une image. La mAP te donne un score unique qui montre la performance du modèle dans toutes les différentes catégories qu'il est entraîné à reconnaître. Voyons comment elle est calculée.

L'aire sous une courbe Précision-Rappel donne la Précision Moyenne (AP) pour cette classe. L'AP mesure avec quelle exactitude le modèle fait des prédictions pour une classe spécifique, en tenant compte à la fois de la précision et du rappel sur divers niveaux de confiance (les niveaux de confiance font référence à la certitude du modèle dans ses prédictions). Une fois que l'AP est calculée pour chaque classe, la mAP est déterminée en faisant la moyenne de ces valeurs d'AP à travers toutes les classes.

Fig 4. La précision moyenne de diverses classes.

La mAP est utile dans des applications telles que la conduite autonome, où plusieurs objets, tels que des piétons, des véhicules et des panneaux de signalisation, doivent être détectés simultanément. Un score mAP élevé signifie que le modèle performe constamment bien dans toutes les catégories, ce qui le rend fiable et précis dans un large éventail de scénarios.

Calcule les métriques de performance sans effort#

Les formules et les méthodes de calcul des métriques de performance clés de l'IA peuvent sembler intimidantes. Cependant, des outils tels que le package Ultralytics peuvent rendre cela simple et rapide. Que tu travailles sur des tâches de détection d'objets, de segmentation ou de classification, Ultralytics fournit les utilitaires nécessaires pour calculer rapidement des métriques importantes telles que la précision, le rappel et la précision moyenne (mAP).

Pour commencer à calculer les métriques de performance à l'aide d'Ultralytics, tu peux installer le package Ultralytics comme indiqué ci-dessous.

Pour cet exemple, nous allons charger un modèle YOLOv8 pré-entraîné et l'utiliser pour valider les métriques de performance, mais tu peux charger n'importe quel modèle pris en charge fourni par Ultralytics. Voici comment tu peux procéder :

Une fois le modèle chargé, tu peux effectuer la validation sur ton jeu de données. L'extrait de code suivant t'aidera à calculer diverses métriques de performance, y compris la précision, le rappel et la mAP :

Utiliser des outils comme Ultralytics rend le calcul des métriques de performance beaucoup plus facile, afin que tu puisses passer plus de temps à améliorer ton modèle et moins de temps à te soucier des détails du processus d'évaluation.

Comment la performance de l'IA est-elle mesurée après le déploiement ?#

Lors du développement de ton modèle d'IA, il est facile de tester ses performances dans un cadre contrôlé. Cependant, une fois le modèle déployé, les choses peuvent devenir plus compliquées. Heureusement, il existe des outils et des meilleures pratiques qui peuvent t'aider à surveiller ta solution d'IA après le déploiement.

Des outils comme Prometheus, Grafana et Evidently AI sont conçus pour suivre continuellement la performance de ton modèle. Ils peuvent fournir des insights en temps réel, détecter des anomalies et t'alerter de tout problème potentiel. Ces outils vont au-delà de la surveillance traditionnelle en offrant des solutions automatisées et évolutives qui s'adaptent à la nature dynamique des modèles d'IA en production.

Pour mesurer le succès de ton modèle d'IA après le déploiement, voici quelques bonnes pratiques à suivre :

• Définis des métriques de performance claires : Décide des métriques clés comme l'exactitude, la précision et le temps de réponse pour vérifier régulièrement à quel point ton modèle fonctionne bien.
• Vérifie régulièrement la dérive des données (data drift) : Garde un œil sur les changements dans les données que ton modèle traite, car cela peut affecter ses prédictions si ce n'est pas géré correctement.
• Mener des tests A/B : Utilise les tests A/B pour comparer la performance de ton modèle actuel par rapport à de nouvelles versions ou modifications. Cela te permettra d'évaluer quantitativement les améliorations ou les régressions du comportement du modèle.
• Documenter et auditer la performance : Conserve des journaux détaillés des métriques de performance et des modifications apportées à ton système d'IA. C'est crucial pour les audits, la conformité et l'amélioration de l'architecture de ton modèle au fil du temps.

Sélectionner des KPI d'IA optimaux n'est que le début#

Déployer et gérer avec succès une solution d'IA dépend du choix des bons KPI et de leur mise à jour régulière. Globalement, il est vital de choisir des métriques qui mettent en valeur les performances techniques de la solution d'IA ainsi que son impact commercial. Au fur et à mesure que les choses changent, qu'il s'agisse d'avancées technologiques ou de changements dans ta stratégie commerciale, il est important de réexaminer et d'ajuster ces KPI.

En gardant tes revues de performance dynamiques, tu peux garder ton système d'IA pertinent et efficace. En restant au courant de ces métriques, tu obtiendras des insights précieux qui aideront à améliorer tes opérations. Une approche proactive garantit que tes efforts en IA sont réellement précieux et aident à faire progresser ton entreprise !

Rejoins notre communauté et innove avec nous ! Explore notre dépôt GitHub pour voir nos avancées en matière d'IA. Apprends comment nous remodelons des secteurs tels que la fabrication et les soins de santé avec une technologie d'IA pionnière. 🚀