22 août 2024
Vous pouvez contrôler le succès de vos innovations en matière d'IA grâce à des indicateurs clés de performance et à des mesures de rendement appropriés. Découvrez comment suivre et optimiser l'impact des applications d'IA.
Nous avons déjà exploré la manière dont l'IA peut être utilisée dans différents secteurs tels que la santé, l'industrie manufacturière et le tourisme. Nous avons également examiné la manière dont l 'IA peut améliorer les tâches quotidiennes et discuté des principales idées commerciales en matière d'IA. Toutes ces discussions mènent inévitablement à la même question clé : comment pouvons-nous mesurer le succès de telles mises en œuvre de l'IA ? C'est une question importante car il ne suffit pas de déployer des solutions d'IA. C'est en s'assurant que ces solutions produisent réellement des résultats qu'elles changent la donne.
Nous pouvons mesurer les indicateurs de performance de l'IA pour déterminer si un modèle d'IA est réellement efficace pour rendre les processus plus efficients, stimuler l'innovation ou résoudre des problèmes. En nous concentrant sur les bons indicateurs clés de performance (ICP), nous pouvons comprendre dans quelle mesure une solution d'IA fonctionne et où elle pourrait avoir besoin d'être améliorée.
Dans cet article, nous allons voir comment mesurer le succès des implémentations d'IA avec les KPI les plus pertinents. Nous examinerons les différences entre les ICP commerciaux et les ICP de performance de l'IA, nous passerons en revue les mesures clés telles que la précision et le rappel, et nous vous aiderons à choisir les meilleurs ICP pour vos solutions d'IA spécifiques.
Lorsque l'on parle d'indicateurs clés de performance, il est naturel de penser qu'il s'agit de mesures commerciales telles que le retour sur investissement (ROI), les économies de coûts ou les revenus générés - en particulier lorsqu'il s'agit d'IA d'entreprise. Ces indicateurs clés de performance de l'IA mesurent l'impact de l'IA sur la réussite globale d'une entreprise et s'alignent sur des objectifs commerciaux plus larges.
En revanche, les ICP de performance de l'IA se concentrent sur le fonctionnement du système d'IA lui-même, à l'aide de mesures telles que l'exactitude, la précision et le rappel. Nous entrerons dans les détails de ces mesures plus loin, mais pour l'essentiel, alors que les ICP commerciaux mettent en évidence les avantages financiers et stratégiques de l'IA, les ICP de performance permettent de s'assurer qu'un modèle d'IA fait son travail de manière efficace.
Certaines mesures peuvent en fait servir les deux objectifs. Par exemple, les gains d'efficacité, comme la réduction du temps ou des ressources nécessaires à l'accomplissement d'une tâche, peuvent être à la fois un ICR de performance (montrant le bon fonctionnement de la solution d'IA) et un ICR commercial (mesurant les économies de coûts et les améliorations de la productivité). La satisfaction du client est une autre mesure transversale. Elle peut refléter le succès d'un outil de service à la clientèle piloté par l'IA à la fois en termes de performance technique et d'impact sur les objectifs commerciaux globaux.
Quelques indicateurs sont couramment utilisés pour mesurer les performances d'un modèle d'IA. Nous examinerons tout d'abord leur définition et leur mode de calcul. Ensuite, nous verrons comment ces mesures peuvent être contrôlées.
La précision est une mesure qui évalue l'exactitude avec laquelle un modèle d'IA identifie les vrais positifs (cas où le modèle identifie correctement un objet ou une condition comme il est censé le faire). Par exemple, dans un système de reconnaissance faciale, un vrai positif se produit lorsque le système reconnaît et identifie correctement le visage d'une personne qu'il a été formé à détecter.
Pour calculer la précision, commencez par compter le nombre de vrais positifs. Vous pouvez ensuite diviser ce nombre par le nombre total d'éléments étiquetés comme positifs par le modèle. Ce total comprend à la fois les identifications correctes et les erreurs, appelées faux positifs. En résumé, la précision indique combien de fois le modèle est correct lorsqu'il prétend avoir reconnu quelque chose.
C'est particulièrement important dans les scénarios où les conséquences des faux positifs peuvent être coûteuses ou perturbatrices. Par exemple, dans la fabrication automatisée, un taux de précision élevé indique que le système peut repérer avec plus de précision les produits défectueux et éviter de jeter ou de retravailler inutilement des articles en bon état. La surveillance de la sécurité est un autre bon exemple. Un taux de précision élevé permet de minimiser les fausses alertes et de se concentrer sur les menaces réelles qui nécessitent une intervention de sécurité.
Le rappel permet de mesurer la capacité d'un modèle d'IA à identifier toutes les instances pertinentes, ou vrais positifs, dans un ensemble de données. En d'autres termes, il représente la capacité d'un système d'IA à capturer tous les cas réels d'une condition ou d'un objet qu'il est censé détecter. Le rappel peut être calculé en divisant le nombre de détections correctes par le nombre total de cas positifs qui auraient dû être détectés (il comprend à la fois les cas que le modèle a correctement identifiés et ceux qu'il a manqués).
Prenons l'exemple d'un système d'imagerie médicale basé sur l'IA et utilisé pour la détection du cancer. Dans ce contexte, le rappel reflète le pourcentage de cas réels de cancer que le système identifie correctement. Un taux de rappel élevé est essentiel dans ce type de scénario, car l'absence de diagnostic de cancer peut avoir de graves conséquences sur les soins prodigués aux patients.
La précision et le rappel sont les deux faces d'une même pièce lorsqu'il s'agit d'évaluer les performances d'un modèle d'IA, et il faut souvent les équilibrer. Le problème est que l'amélioration d'une mesure peut souvent se faire au détriment de l'autre.
Supposons que vous souhaitiez une plus grande précision. Le modèle peut devenir plus sélectif et n'identifier que les positifs dont il est sûr. En revanche, si vous cherchez à améliorer le rappel, le modèle peut identifier davantage de positifs, mais cela risque d'entraîner un plus grand nombre de faux positifs et de réduire la précision.
La clé consiste à trouver le bon équilibre entre la précision et le rappel en fonction des besoins spécifiques de votre application. Un outil utile à cet effet est la courbe de précision et de rappel, qui montre la relation entre les deux mesures à différents seuils. En analysant cette courbe, vous pouvez déterminer le point optimal où le modèle est le plus performant pour votre cas d'utilisation spécifique. Comprendre ce compromis permet d'affiner les modèles d'IA afin qu'ils fonctionnent de manière optimale pour les cas d'utilisation prévus.
La précision moyenne (mAP) est une mesure utilisée pour évaluer les performances des modèles d'IA pour des tâches telles que la détection d'objets, où le modèle doit identifier et classer plusieurs objets dans une image. La mAP vous donne un score unique qui indique les performances du modèle dans toutes les différentes catégories qu'il a été entraîné à reconnaître. Voyons comment il est calculé.
La zone située sous une courbe de précision-rappel donne la précision moyenne (AP) pour cette classe. La PA mesure l'exactitude des prédictions du modèle pour une classe spécifique, en tenant compte à la fois de la précision et du rappel pour différents niveaux de confiance (les niveaux de confiance indiquent le degré de certitude des prédictions du modèle). Une fois la PA calculée pour chaque classe, la mAP est déterminée en faisant la moyenne de ces valeurs de PA pour toutes les classes.
mAP est utile dans des applications telles que la conduite autonome, où de multiples objets, tels que des piétons, des véhicules et des panneaux de signalisation, doivent être détectés simultanément. Un score mAP élevé signifie que le modèle est constamment performant dans toutes les catégories, ce qui le rend fiable et précis dans un large éventail de scénarios.
Les formules et les méthodes de calcul des principaux indicateurs de performance de l'IA peuvent sembler décourageantes. Cependant, des outils tels que le progiciel Ultralytics peuvent les rendre simples et rapides. Que vous travailliez sur des tâches de détection, de segmentation ou de classification d' objets, Ultralytics fournit les utilitaires nécessaires pour calculer rapidement des mesures importantes telles que la précision, le rappel et la précision moyenne (mAP).
Pour commencer à calculer les mesures de performance à l'aide d'Ultralytics, vous pouvez installer le paquet Ultralytics comme indiqué ci-dessous.
Pour cet exemple, nous chargerons un modèle YOLOv8 pré-entraîné et l'utiliserons pour valider les mesures de performance, mais vous pouvez charger n'importe quel modèle pris en charge par Ultralytics. Voici comment procéder :
Une fois le modèle chargé, vous pouvez procéder à la validation de votre ensemble de données. L'extrait de code suivant vous aidera à calculer diverses mesures de performance, notamment la précision, le rappel et le mAP :
L'utilisation d'outils tels qu'Ultralytics facilite grandement le calcul des mesures de performance, ce qui vous permet de consacrer plus de temps à l'amélioration de votre modèle et moins de temps à vous préoccuper des détails du processus d'évaluation.
Le succès du déploiement et de la gestion d'une solution d'IA dépend du choix des bons indicateurs de performance clés et de leur mise à jour. Dans l'ensemble, il est essentiel de choisir des indicateurs qui mettent en évidence les performances de la solution d'IA sur le plan technique et en termes d'impact sur l'activité de l'entreprise. Au fur et à mesure que les choses évoluent, qu'il s'agisse de progrès technologiques ou de changements dans votre stratégie d'entreprise, il est important de revoir et d'adapter ces indicateurs clés de performance.
En maintenant le dynamisme de vos évaluations des performances, vous pouvez préserver la pertinence et l'efficacité de votre système d'intelligence artificielle. En restant à l'affût de ces mesures, vous obtiendrez des informations précieuses qui vous aideront à améliorer vos opérations. Une approche proactive garantit que vos efforts en matière d'IA sont réellement utiles et qu'ils contribuent à faire progresser votre entreprise !
Rejoignez notre communauté et innovez avec nous ! Explorez notre dépôt GitHub pour découvrir nos avancées en matière d'IA. Découvrez comment nous remodelons des secteurs tels que la fabrication et les soins de santé avec une technologie d'IA pionnière. 🚀
FR
EN
ZH
KO
JA
RU
DE
ES
PT
IT
TR
VI
AR.webp)
Comment les performances de l'IA sont-elles mesurées après son déploiement ?
Lorsque vous développez votre modèle d'IA, il est facile de tester ses performances dans un environnement contrôlé. Cependant, une fois le modèle déployé, les choses peuvent se compliquer. Heureusement, il existe des outils et des bonnes pratiques qui peuvent vous aider à contrôler votre solution d'IA après son déploiement.
Des outils comme Prometheus, Grafana et Evidently AI sont conçus pour suivre en permanence les performances de votre modèle. Ils peuvent fournir des informations en temps réel, détecter les anomalies et vous alerter de tout problème potentiel. Ces outils vont au-delà de la surveillance traditionnelle en offrant des solutions automatisées et évolutives qui s'adaptent à la nature dynamique des modèles d'IA en production.
Pour mesurer le succès de votre modèle d'IA après son déploiement, voici quelques bonnes pratiques à suivre :