22 août 2024
Vous pouvez surveiller le succès de vos innovations en matière d'IA grâce aux bons indicateurs clés de performance (KPI) et aux mesures de performance. Découvrez comment suivre et optimiser l'impact des applications de l'IA.
Nous avons précédemment exploré comment l'IA peut être utilisée dans différents secteurs tels que la santé, la fabrication et le tourisme. Nous avons également examiné comment l'IA peut améliorer les tâches de travail quotidiennes et discuté des principales idées commerciales en matière d'IA. Toutes ces discussions mènent inévitablement à la même question clé : comment pouvons-nous mesurer le succès de ces mises en œuvre de l'IA ? C'est une question importante car le simple déploiement de solutions d'IA ne suffit pas. S'assurer que ces solutions produisent réellement des résultats est ce qui les rend révolutionnaires.
Nous pouvons mesurer les métriques de performance de l'IA pour déterminer si un modèle d'IA est réellement efficace pour rendre les processus plus efficaces, susciter l'innovation ou résoudre des problèmes. En nous concentrant sur les bons indicateurs clés de performance (KPI), nous pouvons comprendre le fonctionnement d'une solution d'IA et les points à améliorer.
Dans cet article, nous allons examiner comment mesurer le succès des mises en œuvre de l'IA avec les KPI les plus pertinents. Nous aborderons les différences entre les KPI commerciaux de l'IA et les KPI de performance de l'IA, nous passerons en revue les métriques clés telles que la précision et le rappel, et nous vous aiderons à choisir les meilleurs KPI pour vos solutions d'IA spécifiques.
Lorsque vous pensez aux ICP, il est naturel de supposer qu'ils concernent tous les indicateurs commerciaux tels que le retour sur investissement (RSI), les économies de coûts ou les revenus générés, en particulier lorsqu'il s'agit de l'IA en entreprise. Ces ICP d'affaires en IA mesurent l'impact de l'IA sur le succès global d'une entreprise et s'alignent sur des objectifs commerciaux plus larges.
Cependant, les ICP de performance de l'IA se concentrent sur le bon fonctionnement du système d'IA lui-même, en utilisant des mesures telles que la précision, la justesse et le rappel. Nous entrerons dans les détails de ces mesures ci-dessous, mais en substance, alors que les ICP d'affaires mettent en évidence les avantages financiers et stratégiques de l'IA, les ICP de performance garantissent qu'un modèle d'IA fait son travail efficacement.
Certaines mesures peuvent en réalité servir les deux objectifs. Par exemple, les gains d'efficacité, comme la réduction du temps ou des ressources nécessaires pour accomplir une tâche, peuvent être à la fois un ICP de performance (montrant comment la solution d'IA fonctionne) et un ICP d'affaires (mesurant les économies de coûts et les améliorations de la productivité). La satisfaction client est une autre mesure transversale. Elle peut refléter le succès d'un outil de service client basé sur l'IA, tant en termes de performance technique que d'impact sur les objectifs commerciaux globaux.
Il existe quelques mesures courantes utilisées pour évaluer les performances d'un modèle d'IA. Tout d'abord, nous examinerons leur définition et la manière dont elles sont calculées. Ensuite, nous verrons comment ces mesures peuvent être surveillées.
La justesse est une mesure qui évalue la précision avec laquelle un modèle d'IA identifie les vrais positifs (les cas où le modèle identifie correctement un objet ou une condition comme il est censé le faire). Par exemple, dans un système de reconnaissance faciale, un vrai positif se produirait lorsque le système reconnaît et identifie correctement le visage d'une personne pour laquelle il a été entraîné à détecter.
Pour calculer la justesse, comptez d'abord le nombre de vrais positifs. Vous pouvez ensuite diviser ce nombre par le nombre total d'éléments que le modèle a étiquetés comme positifs. Ce total comprend à la fois les identifications correctes et les erreurs, qui sont appelées faux positifs. Essentiellement, la justesse vous indique la fréquence à laquelle le modèle est correct lorsqu'il prétend avoir reconnu quelque chose.
C'est particulièrement important dans les scénarios où les conséquences des faux positifs peuvent être coûteuses ou perturbatrices. Par exemple, dans la fabrication automatisée, un taux de justesse élevé indique que le système peut signaler avec plus de précision les produits défectueux et éviter la mise au rebut ou la retouche inutiles de bons articles. Un autre bon exemple est la surveillance de sécurité. Une justesse élevée permet de minimiser les fausses alarmes et de se concentrer uniquement sur les menaces réelles qui nécessitent une intervention de sécurité.
Le rappel permet de mesurer la capacité d'un modèle d'IA à identifier toutes les instances pertinentes, ou vrais positifs, au sein d'un ensemble de données. En termes simples, il représente la capacité d'un système d'IA à capturer tous les cas réels d'une condition ou d'un objet qu'il est conçu pour détecter. Le rappel peut être calculé en divisant le nombre de détections correctes par le nombre total de cas positifs qui auraient dû être détectés (il comprend à la fois les cas que le modèle a correctement identifiés et ceux qu'il a manqués).
Prenons l'exemple d'un système d'imagerie médicale basé sur l'IA utilisé pour la détection du cancer. Dans ce contexte, le rappel reflète le pourcentage de cas de cancer réels que le système identifie correctement. Un rappel élevé est essentiel dans de tels scénarios, car le fait de ne pas diagnostiquer un cancer peut avoir de graves conséquences pour les soins aux patients.
La justesse et le rappel sont comme les deux faces d'une même pièce lorsqu'il s'agit d'évaluer les performances d'un modèle d'IA, et ils nécessitent souvent un équilibre. Le défi est que l'amélioration d'une mesure peut souvent se faire au détriment de l'autre.
Disons que vous insistez sur une justesse plus élevée. Le modèle peut devenir plus sélectif et être capable d'identifier uniquement les positifs dont il est très sûr. D'un autre côté, si vous visez à améliorer le rappel, le modèle peut identifier plus de positifs, mais cela pourrait inclure plus de faux positifs et finir par réduire la justesse.
La clé est de trouver le bon équilibre entre la justesse et le rappel en fonction des besoins spécifiques de votre application. Un outil utile pour cela est la courbe de justesse-rappel, qui montre la relation entre les deux mesures à différents seuils. En analysant cette courbe, vous pouvez déterminer le point optimal où le modèle fonctionne le mieux pour votre cas d'utilisation spécifique. Comprendre le compromis aide à affiner les modèles d'IA pour qu'ils fonctionnent de manière optimale pour leurs cas d'utilisation prévus.
La précision moyenne (mAP) est une mesure utilisée pour évaluer les performances des modèles d'IA pour des tâches telles que la détection d'objets, où le modèle doit identifier et classifier plusieurs objets dans une image. La mAP vous donne un score unique qui montre les performances du modèle dans toutes les différentes catégories pour lesquelles il est entraîné à reconnaître. Voyons comment elle est calculée.
L'aire sous une courbe de justesse-rappel donne la précision moyenne (AP) pour cette classe. L'AP mesure la précision avec laquelle le modèle fait des prédictions pour une classe spécifique, en tenant compte à la fois de la justesse et du rappel à différents niveaux de confiance (les niveaux de confiance font référence au degré de certitude du modèle dans ses prédictions). Une fois que l'AP est calculée pour chaque classe, la mAP est déterminée en faisant la moyenne de ces valeurs d'AP sur toutes les classes.
La mAP est utile dans des applications telles que la conduite autonome, où plusieurs objets, tels que les piétons, les véhicules et les panneaux de signalisation, doivent être détectés simultanément. Un score mAP élevé signifie que le modèle fonctionne de manière cohérente dans toutes les catégories, ce qui le rend fiable et précis dans un large éventail de scénarios.
Les formules et les méthodes de calcul des indicateurs clés de performance de l'IA peuvent sembler intimidantes. Cependant, des outils comme le package Ultralytics peuvent rendre cela simple et rapide. Que vous travailliez sur des tâches de détection d'objets, de segmentation ou de classification, Ultralytics fournit les utilitaires nécessaires pour calculer rapidement des métriques importantes telles que la précision, le rappel et la précision moyenne (mAP).
Pour commencer à calculer les métriques de performance à l'aide d'Ultralytics, vous pouvez installer le package Ultralytics comme indiqué ci-dessous.
Pour cet exemple, nous allons charger un modèle YOLOv8 pré-entraîné et l'utiliser pour valider les métriques de performance, mais vous pouvez charger n'importe lequel des modèles pris en charge fournis par Ultralytics. Voici comment procéder :
Une fois le modèle chargé, vous pouvez effectuer une validation sur votre ensemble de données. L'extrait de code suivant vous aidera à calculer diverses métriques de performance, notamment la précision, le rappel et le mAP :
L'utilisation d'outils comme Ultralytics facilite grandement le calcul des métriques de performance, ce qui vous permet de consacrer plus de temps à l'amélioration de votre modèle et moins de temps à vous soucier des détails du processus d'évaluation.
Lors du développement de votre modèle d'IA, il est facile de tester ses performances dans un environnement contrôlé. Cependant, une fois le modèle déployé, les choses peuvent se compliquer. Heureusement, il existe des outils et des bonnes pratiques qui peuvent vous aider à surveiller votre solution d'IA après le déploiement.
Des outils tels que Prometheus, Grafana et Evidently AI sont conçus pour suivre en permanence les performances de votre modèle. Ils peuvent fournir des informations en temps réel, détecter les anomalies et vous alerter de tout problème potentiel. Ces outils vont au-delà de la surveillance traditionnelle en offrant des solutions automatisées et évolutives qui s'adaptent à la nature dynamique des modèles d'IA en production.
Pour mesurer le succès de votre modèle d'IA après le déploiement, voici quelques bonnes pratiques à suivre :
La réussite du déploiement et de la gestion d'une solution d'IA dépend du choix des bons indicateurs clés de performance et de leur mise à jour. Dans l'ensemble, il est essentiel de choisir des métriques qui mettent en évidence la performance technique de la solution d'IA et son impact sur l'entreprise. Au fur et à mesure que les choses changent, qu'il s'agisse des avancées technologiques ou des changements dans votre stratégie commerciale, il est important de revoir et d'ajuster ces indicateurs clés de performance.
En gardant vos évaluations de performance dynamiques, vous pouvez maintenir votre système d'IA pertinent et efficace. En restant au fait de ces métriques, vous obtiendrez des informations précieuses qui vous aideront à améliorer vos opérations. Une approche proactive garantit que vos efforts en matière d'IA sont réellement précieux et contribuent à faire progresser votre entreprise !
Rejoignez notre communauté et innovez avec nous ! Explorez notre dépôt GitHub pour découvrir nos avancées en matière d'IA. Découvrez comment nous remodelons des secteurs tels que la fabrication et la santé grâce à une technologie d'IA pionnière. 🚀
.webp)