Exactitude, précision et rappel en machine learning

L’apprentissage automatique (ML) est une branche de l’intelligence artificielle (AI) qui se concentre sur la création de systèmes capables d’apprendre à partir de données. Il joue un rôle central dans de nombreux autres domaines de l’AI, notamment la vision par ordinateur, où les machines interprètent des images, et le traitement automatique du langage naturel, où elles comprennent et génèrent le langage humain.

Souvent, ces modèles d’AI utilisent des techniques d’apprentissage profond pour effectuer des prédictions à partir de données. Même si ces systèmes peuvent être très efficaces, ils ne produisent pas toujours des prédictions correctes. Certaines sorties peuvent être exactes, tandis que d’autres passent à côté de la cible.

Comprendre comment ces erreurs se produisent est essentiel pour évaluer les performances d’un modèle. Pour mesurer ces performances, nous pouvons utiliser des métriques d’évaluation des modèles.

Les métriques d’évaluation courantes incluent l’exactitude (correction globale), la précision (fiabilité des prédictions positives) et le rappel (capacité du modèle à identifier les vrais positifs). Elles peuvent sembler similaires au premier abord, mais chacune se concentre sur un aspect différent du comportement d’un modèle.

Dans cet article, nous examinerons de plus près chacune de ces métriques de performance des modèles d’AI. Nous verrons également comment elles sont liées et comment choisir la bonne pour ton cas d’usage. Commençons !

Les métriques d’évaluation des modèles sont importantes en apprentissage automatique#

Un modèle de machine learning peut sembler performant au premier abord. Mais sans les bonnes métriques d’évaluation, il est difficile de comprendre le degré d’exactitude de ses résultats. Ces métriques structurent l’évaluation des modèles et aident à répondre à une question essentielle : les prédictions du modèle sont-elles utiles et fiables pour une tâche donnée ?

Des métriques comme l’exactitude, la précision et le rappel offrent aux développeurs d’AI un moyen clair de mesurer les performances d’un modèle. Par exemple, lors de la comparaison de différents modèles, ces métriques permettent de déterminer lequel est le plus performant pour une tâche spécifique. Elles aident à évaluer les performances et à choisir le modèle qui correspond le mieux aux objectifs d’un projet d’AI.

Fig. 1. Flux de travail d’entraînement et d’évaluation d’un modèle (Source)

Ces métriques rendent également les comparaisons de performances plus objectives. Plutôt que de s’appuyer sur des suppositions ou des observations incomplètes, elles fournissent des informations mesurables sur le comportement d’un modèle dans différentes situations. Elles mettent ainsi en évidence les aspects des performances qui comptent le plus dans chaque contexte.

Par exemple, le choix de la métrique dépend souvent de l’application. Dans les applications de l’AI dans le domaine de la santé, le rappel est important, car l’objectif est d’identifier autant de cas positifs que possible, même si certains cas négatifs sont signalés à tort. En revanche, un filtre anti-spam peut privilégier la précision afin d’éviter de classer à tort des e-mails légitimes comme spam.

La matrice de confusion : la base des métriques de classification#

La matrice de confusion est un tableau deux par deux fondamental pour évaluer les modèles d’AI. Elle organise les prédictions en quatre catégories en comparant les résultats réels aux résultats prédits (les réponses fournies par le modèle).

Cette comparaison offre une vue détaillée des performances du modèle. Elle constitue la base de métriques d’évaluation essentielles comme la précision et le rappel, qui sont calculées directement à partir des valeurs de la matrice.

Les lignes du tableau représentent les classes réelles et les colonnes représentent les classes prédites. Chaque cellule indique le nombre de résultats dans cette catégorie. En termes simples, elle montre combien de prédictions étaient correctes et quels types d’erreurs le modèle a commis.

La matrice de confusion est particulièrement utile lorsque les données sont déséquilibrées, c’est-à-dire lorsque certaines catégories comportent beaucoup plus d’exemples que d’autres. Elle est également utile lorsque différents types d’erreurs ont des coûts différents.

Par exemple, dans la détection des fraudes, il est essentiel de détecter les activités frauduleuses, mais signaler à tort de vraies transactions peut également causer des problèmes. La matrice montre clairement la fréquence de chaque type d’erreur.

Éléments de la matrice de confusion#

Voici un aperçu des différents éléments d’une matrice de confusion :

• Vrai positif (TP) : lorsqu’un modèle prédit correctement une instance positive, celle-ci est enregistrée comme un vrai positif. Par exemple, un modèle de vision par ordinateur classe correctement un véhicule dans une image.
• Vrai négatif (TN) : un vrai négatif se produit lorsque le modèle identifie correctement une instance négative. Par exemple, un classificateur d’e-mails marque un message ordinaire comme n’étant pas du spam.
• Faux positif (FP) : le modèle génère un faux positif lorsqu’il prédit à tort un résultat positif pour une instance qui est en réalité négative. Également appelée erreur de type I, cette situation peut se produire lorsqu’un système de détection des fraudes signale une transaction valide comme frauduleuse.
• Faux négatif (FN) : un faux négatif est enregistré lorsque le modèle ne détecte pas un cas positif et le prédit à tort comme négatif. Également appelée erreur de type II, cette situation peut se produire lorsqu’un outil de diagnostic ne détecte pas une maladie chez un patient qui est effectivement malade.

Fig. 2. Les éléments d’une matrice de confusion (Source)

Représentation visuelle et interprétation de la matrice de confusion#

Une matrice de confusion est présentée sous forme de grille. L’axe vertical représente les classes réelles et l’axe horizontal les classes prédites. Les prédictions correctes apparaissent sur la diagonale, représentant les vrais positifs et les vrais négatifs.

Les erreurs se situent en dehors de la diagonale et comprennent les faux positifs et les faux négatifs. Cette structure permet de repérer facilement les points forts et les faiblesses.

Qu’est-ce que l’exactitude en apprentissage automatique ?#

L’exactitude est l’une des métriques les plus utilisées pour évaluer les performances d’un modèle d’apprentissage automatique. Elle mesure la fréquence à laquelle les prédictions sont correctes dans l’ensemble des classes. Autrement dit, elle répond à une question simple : parmi toutes les prédictions effectuées par le modèle d’AI, combien étaient correctes ?

La formule de l’exactitude consiste à diviser le nombre de prédictions correctes (qui comprend les vrais positifs et les vrais négatifs) par le nombre total de prédictions. L’exactitude est facile à calculer et à comprendre, ce qui en fait un point de départ courant pour l’évaluation des modèles.

En général, l’exactitude est fiable avec des jeux de données équilibrés. Cependant, elle peut être trompeuse dans des jeux de données déséquilibrés où une classe domine les autres. Un modèle qui prédit toujours la classe majoritaire peut obtenir un score d’exactitude élevé tout en ne détectant pas les autres classes minoritaires.

Par exemple, dans un jeu de données d’images où seules quelques images contiennent des piétons, un modèle qui prédit « aucun piéton » pour chaque image peut tout de même obtenir une exactitude élevée, mais échouer complètement à détecter les vrais piétons.

Cela s’explique par le fait que l’exactitude seule n’indique pas quels types d’erreurs commet un modèle ni à quelle fréquence elles se produisent. C’est pourquoi il est important d’examiner également des métriques comme la précision et le rappel pour comprendre pleinement les performances d’un modèle d’AI.

Analyse approfondie de la précision : réduire les fausses alertes#

La précision est une métrique d’évaluation essentielle qui mesure l’exactitude des prédictions positives d’un modèle. Elle répond à la question suivante : parmi toutes les instances prédites comme positives, combien étaient correctes ?

La formule de la précision consiste à diviser le nombre de vrais positifs par la somme des vrais positifs et des faux positifs. Elle est particulièrement importante lorsqu’une prédiction positive pourrait avoir un coût élevé si elle s’avérait incorrecte.

Fig. 3. Comparaison de l’exactitude et de la précision. (Source)

Par exemple, dans la détection des fraudes, un modèle peu précis peut signaler de nombreuses transactions valides comme frauduleuses, créant des problèmes inutiles pour les utilisateurs comme pour les équipes d’assistance. Un modèle très précis réduit ce risque en veillant à ce que les transactions signalées soient plus probablement réellement frauduleuses.

Même si une précision élevée est souhaitable, les modèles qui se concentrent trop sur cet objectif peuvent devenir très sélectifs et manquer de vrais cas positifs. C’est pourquoi la précision est souvent vérifiée conjointement avec le rappel afin de maintenir un équilibre des performances.

Qu’est-ce que le rappel ?#

Le rappel est une métrique utilisée pour mesurer la capacité d’un modèle à identifier les vrais cas positifs. Il est également appelé sensibilité ou taux de vrais positifs, et répond à la question suivante : parmi toutes les instances réellement positives, combien le modèle a-t-il correctement détectées ?

La formule du rappel consiste à diviser le nombre de vrais positifs par la somme des vrais positifs et des faux négatifs. Un score de rappel élevé indique que le modèle capture la plupart des vrais cas positifs présents dans les données.

Le rappel est essentiel dans des secteurs comme la santé, où ne pas détecter une affection peut retarder le traitement et mettre les patients en danger. Même si certains cas négatifs sont signalés à tort, l’identification de tous les vrais cas reste la priorité absolue.

Cependant, les modèles qui se concentrent uniquement sur le rappel peuvent signaler trop de faux positifs, ce qui réduit la précision et nuit à l’efficacité globale du modèle. Équilibrer le rappel et la précision est essentiel pour obtenir des performances fiables d’un modèle d’AI.

Le compromis : arbitrer entre précision et rappel#

La précision et le rappel évoluent souvent en sens opposés. Lorsque l’une s’améliore, l’autre peut diminuer. Ce compromis constitue un défi courant dans les tâches d’apprentissage automatique.

Un modèle très précis ne prédit une instance comme positive que lorsqu’il est sûr de lui. Cela réduit les fausses alertes, mais peut manquer de vrais positifs, ce qui diminue le rappel. Un modèle qui tente de détecter tous les positifs augmente le rappel, mais risque de produire davantage de fausses alertes, ce qui réduit la précision.

Ce compromis devient plus clair lorsque tu ajustes le seuil de décision du modèle. Le seuil est la limite qu’un système utilise pour transformer un score ou une probabilité en action ou en étiquette. Abaisser le seuil pousse le système à agir positivement plus souvent, ce qui peut augmenter le rappel, mais réduire la précision. Relever le seuil produit l’effet inverse : le modèle prédit moins de positifs, la précision s’améliore, mais le rappel diminue généralement.

Prenons l’exemple de la détection des spams. Le modèle doit trouver un équilibre entre le risque de laisser des spams entrer dans la boîte de réception et celui de bloquer de vrais e-mails. Un filtre strict peut tout de même laisser passer certains spams, tandis qu’un filtre plus permissif peut bloquer accidentellement des messages légitimes. Le bon équilibre dépend du cas d’usage et du coût de chaque type d’erreur.

L’importance de la courbe précision-rappel#

La courbe précision-rappel, ou courbe PR, montre comment la précision et le rappel évoluent lorsque le seuil de décision du modèle change. Chaque point représente un compromis différent entre les deux. La courbe PR est particulièrement utile pour les jeux de données déséquilibrés, où une classe est beaucoup moins fréquente.

Elle fournit également des informations plus pertinentes que la courbe caractéristique de fonctionnement du récepteur (ROC), qui montre elle aussi dans quelle mesure un modèle distingue les positifs des négatifs à différents seuils de décision. Un modèle affichant à la fois une précision et un rappel élevés aura une courbe précision-rappel proche de l’angle supérieur droit, ce qui est généralement idéal.

Présentation du score F1 : une métrique combinée pour l’équilibre#

Le score F1 fournit une valeur unique qui représente l’équilibre entre la précision et le rappel. Il se calcule en multipliant la précision par le rappel, en multipliant le résultat par deux, puis en le divisant par la somme de la précision et du rappel. Il est utile lorsque les faux positifs et les faux négatifs sont tous deux importants, ainsi que pour les jeux de données déséquilibrés ou lorsqu’une vue équilibrée des performances du modèle est nécessaire.

Fig. 4. Calcul du score F1 à partir de la précision et du rappel (Source)

Au-delà de l’exactitude, de la précision et du rappel#

Bien que l’exactitude, la précision et le rappel soient essentiels, d’autres métriques offrent des informations supplémentaires selon le type de modèle et les caractéristiques du jeu de données.

Voici quelques métriques couramment utilisées pour évaluer différents aspects des performances :

• Spécificité : elle mesure la capacité du modèle à identifier les vrais négatifs. Elle est utile lorsqu’il est important d’éviter les faux positifs.
• AUC** :** l’AUC, ou aire sous la courbe, fournit un score unique qui reflète la capacité du modèle à distinguer les classes.
• Perte logarithmique : la perte logarithmique sert à mesurer le degré de confiance d’un modèle lorsqu’il effectue des prédictions et pénalise davantage les prédictions incorrectes faites avec une grande confiance. Ici, la confiance désigne le degré de certitude du modèle concernant sa prédiction.
• Évaluation multilabel : dans les tâches multilabel, les métriques sont moyennées sur l’ensemble des labels afin de refléter les performances globales du modèle.

Appliquer l’exactitude, la précision et le rappel à la vision par ordinateur#

Maintenant que nous comprenons mieux l’exactitude, la précision et le rappel, voyons comment ces métriques s’appliquent à la vision par ordinateur.

Les modèles de vision par ordinateur comme Ultralytics YOLO11 prennent en charge des tâches telles que la détection d’objets, dans laquelle le modèle identifie les objets présents dans une image et les localise à l’aide de boîtes englobantes. Chaque prédiction comprend à la fois le label de l’objet et sa position, ce qui rend l’évaluation plus complexe que la simple vérification de l’exactitude d’un label.

Fig. 5. Exemple d’utilisation d’Ultralytics YOLO11 pour la détection d’objets. (Source)

Prenons l’exemple d’une application de vente au détail dans laquelle des caméras servent à suivre automatiquement les produits en rayon. Un modèle de détection d’objets peut identifier des articles comme des boîtes de céréales, des canettes de soda ou des bouteilles d’eau, et marquer leur position.

Dans ce cas, la précision nous indique combien d’articles détectés sont effectivement corrects. Une précision élevée signifie que le système évite les faux positifs, comme le fait d’identifier une ombre ou un objet d’arrière-plan comme un produit. Le rappel indique combien de produits réellement présents en rayon le modèle a réussi à détecter. Un rappel élevé signifie que moins d’articles sont manqués, ce qui est essentiel pour obtenir des inventaires précis.

L’exactitude peut toujours fournir une mesure générale de la correction, mais dans ce type de contexte, manquer même quelques produits ou détecter des articles qui n’existent pas peut avoir un impact important sur la gestion des stocks. C’est pourquoi les développeurs examinent conjointement la précision, le rappel et l’exactitude afin de garantir que le système est à la fois fiable et pratique pour une utilisation réelle.

Exactitude, précision et rappel : points clés à retenir#

L’exactitude, la précision et le rappel mettent chacun en évidence des aspects différents des performances d’un modèle d’apprentissage automatique. S’appuyer sur une seule métrique peut être trompeur.

Des outils et des métriques comme la matrice de confusion, les courbes précision-rappel et le score F1 aident à révéler les compromis et à orienter les décisions visant à améliorer le modèle de ML. En choisissant la bonne combinaison de métriques pour une solution d’AI spécifique, tu peux garantir que les modèles sont précis, fiables et efficaces dans des applications réelles.

Explore notre communauté grandissante ! Consulte notre dépôt GitHub pour en savoir plus sur l’AI. Prêt à démarrer tes projets de vision par ordinateur ? Découvre nos options de licence. Découvre l’AI dans l’agriculture et l’AI pour la vision en robotique en consultant nos pages consacrées aux solutions !