Exactitude, précision et rappel en machine learning : quelles différences ?

L’apprentissage automatique (ML) est une branche de l’intelligence artificielle (AI) qui se concentre sur la création de systèmes capables d’apprendre à partir de données. Il joue un rôle central dans de nombreux autres domaines de l’IA, notamment la vision par ordinateur, où les machines interprètent des images, et le traitement du langage naturel, où elles comprennent et génèrent le langage humain.

Souvent, ces modèles d’IA utilisent des techniques d’apprentissage profond pour effectuer des prédictions à partir de données. Ces systèmes peuvent être très efficaces, mais ils ne produisent pas toujours des prédictions correctes. Certaines sorties peuvent être exactes, tandis que d’autres sont erronées.

Comprendre comment ces erreurs se produisent est essentiel pour évaluer les performances d’un modèle. Pour mesurer ces performances, nous pouvons utiliser des métriques d’évaluation des modèles.

Parmi les métriques d’évaluation courantes figurent l’exactitude (justesse globale), la précision (fiabilité des prédictions positives) et le rappel (capacité du modèle à identifier les vrais positifs). Elles peuvent sembler similaires au premier abord, mais chacune porte sur un aspect différent du comportement du modèle.

Dans cet article, nous allons examiner de plus près chacune de ces métriques de performance des modèles d’IA. Nous verrons également comment elles sont liées les unes aux autres et comment choisir la bonne métrique pour ton cas d’usage.

Les métriques d’évaluation des modèles sont importantes en apprentissage automatique#

Un modèle d’apprentissage automatique peut sembler performant au premier abord. Mais sans les bonnes métriques d’évaluation, il est difficile de comprendre la précision de ses résultats. Ces métriques structurent l’évaluation du modèle et aident à répondre à une question essentielle : les prédictions du modèle sont-elles utiles et fiables pour une tâche donnée ?

Des métriques comme l’exactitude, la précision et le rappel donnent aux développeurs en IA des moyens clairs de mesurer les performances d’un modèle. Par exemple, lorsqu’on compare différents modèles, ces métriques permettent de déterminer lequel est le plus performant pour une tâche précise. Elles aident à évaluer les performances et à choisir le modèle qui répond le mieux aux objectifs d’un projet d’IA.

Fig. 1. Processus d’entraînement et d’évaluation d’un modèle (Source)

Ces métriques rendent également les comparaisons de performances plus objectives. Au lieu de s’appuyer sur des suppositions ou des observations incomplètes, elles fournissent des informations mesurables sur le comportement d’un modèle dans différentes situations. Elles permettent ainsi de déterminer quels aspects des performances comptent le plus dans chaque contexte.

Par exemple, le choix de la métrique dépend souvent de l’application. Dans les applications de l’IA dans le secteur de la santé, le rappel est important, car l’objectif est d’identifier autant de cas positifs que possible, même si certains cas négatifs sont signalés à tort. À l’inverse, un filtre anti-spam peut privilégier la précision pour éviter de classer à tort des courriels légitimes comme indésirables.

La matrice de confusion : fondement des métriques de classification#

Pour la classification binaire, la matrice de confusion est un tableau de deux lignes et deux colonnes essentiel à l’évaluation des modèles d’IA. Elle répartit les prédictions en quatre catégories en comparant les résultats réels aux résultats prédits (les réponses fournies par le modèle).

Cette comparaison donne une vue détaillée des performances du modèle. Elle constitue la base de métriques d’évaluation clés, comme la précision et le rappel, calculées directement à partir des valeurs de la matrice.

Les lignes du tableau représentent les classes réelles et les colonnes, les classes prédites. Chaque cellule indique le nombre de résultats dans la catégorie correspondante. En bref, la matrice montre le nombre de prédictions correctes et les types d’erreurs commises par le modèle.

La matrice de confusion est particulièrement utile lorsque les données sont déséquilibrées, c’est-à-dire lorsque certaines catégories comptent beaucoup plus d’exemples que d’autres. Elle est également utile lorsque les différents types d’erreurs ont des coûts différents.

Par exemple, dans la détection des fraudes, il est essentiel de repérer les activités frauduleuses, mais signaler à tort de vraies transactions peut également poser problème. La matrice indique clairement la fréquence de chaque type d’erreur.

Éléments de la matrice de confusion#

Voici un aperçu des différents éléments d’une matrice de confusion :

• Vrai positif (TP) : Lorsqu’un modèle prédit correctement un cas positif, celui-ci est comptabilisé comme un vrai positif. Par exemple, un modèle de vision par ordinateur classe correctement un véhicule dans une image.
• Vrai négatif (TN) : Un vrai négatif correspond au cas où le modèle identifie correctement un cas négatif. Par exemple, un classificateur de courriels identifie un message ordinaire comme n’étant pas un spam.
• Faux positif (FP) : Le modèle produit un faux positif lorsqu’il prédit à tort un résultat positif pour un exemple qui est en réalité négatif. Également appelé erreur de type I, cela peut se produire lorsqu’un système de détection des fraudes signale comme frauduleuse une transaction légitime.
• Faux négatif (FN) : Un faux négatif est enregistré lorsque le modèle ne détecte pas un cas positif et le prédit à tort comme négatif. Également appelée erreur de type II, cette situation peut survenir lorsqu’un outil de diagnostic ne détecte pas une maladie chez un patient qui est effectivement malade.

Fig. 2. Éléments d’une matrice de confusion (Source)

Représentation visuelle et interprétation de la matrice de confusion#

Une matrice de confusion se présente sous la forme d’une grille. L’axe vertical indique les classes réelles et l’axe horizontal, les classes prédites. Les prédictions correctes apparaissent sur la diagonale et correspondent aux vrais positifs et aux vrais négatifs.

Les erreurs se trouvent hors de la diagonale : ce sont les faux positifs et les faux négatifs. Cette structure permet de repérer facilement les points forts et les points faibles.

Qu’est-ce que l’exactitude en apprentissage automatique ?#

L’exactitude est l’une des métriques les plus utilisées pour évaluer les performances d’un modèle d’apprentissage automatique. Elle mesure la fréquence des prédictions correctes pour l’ensemble des classes. Autrement dit, elle répond à une question simple : parmi toutes les prédictions du modèle d’IA, combien sont correctes ?

La formule de l’exactitude consiste à diviser le nombre de prédictions correctes (qui comprend les vrais positifs et les vrais négatifs) par le nombre total de prédictions. L’exactitude est facile à calculer et à comprendre, ce qui en fait un point de départ courant pour l’évaluation des modèles.

En général, l’exactitude est fiable avec des jeux de données équilibrés. Cependant, elle peut souvent être trompeuse avec des jeux de données déséquilibrés, où une classe domine les autres. Un modèle qui prédit toujours la classe majoritaire peut tout de même obtenir un score d’exactitude élevé sans détecter les autres classes minoritaires.

Par exemple, dans un jeu de données d’images où seules quelques images contiennent des piétons, un modèle qui prédit « aucun piéton » pour chaque image peut tout de même obtenir une exactitude élevée tout en échouant complètement à détecter les piétons présents.

En effet, l’exactitude seule ne révèle pas les types d’erreurs commises par un modèle ni leur fréquence. C’est pourquoi il est important d’examiner également des métriques comme la précision et le rappel pour bien comprendre les performances d’un modèle d’IA.

Examen approfondi de la précision : réduire les fausses alertes#

La précision est une métrique d’évaluation clé qui mesure l’exactitude des prédictions positives d’un modèle. Elle répond à la question suivante : parmi tous les cas prédits comme positifs, combien le sont réellement ?

La formule de la précision consiste à diviser le nombre de vrais positifs par la somme des vrais positifs et des faux positifs. Elle est particulièrement importante lorsqu’une prédiction positive erronée aurait des conséquences coûteuses.

Fig. 3. Comparaison de l’exactitude et de la précision. (Source)

Par exemple, dans la détection des fraudes, un modèle peu précis peut signaler de nombreuses transactions valides comme frauduleuses, créant des problèmes inutiles pour les utilisateurs et les équipes d’assistance. Un modèle plus précis réduit ce risque en veillant à ce que les transactions signalées soient plus susceptibles d’être réellement frauduleuses.

Une précision élevée est souhaitable, mais les modèles qui y accordent trop d’importance peuvent devenir très sélectifs et manquer de vrais cas positifs. C’est pourquoi la précision est souvent examinée avec le rappel, afin de maintenir un équilibre des performances.

Qu’est-ce que le rappel ?#

Le rappel est une métrique qui mesure la capacité d’un modèle à identifier les cas réellement positifs. Aussi appelé sensibilité ou taux de vrais positifs, il répond à la question suivante : parmi tous les cas réellement positifs, combien le modèle a-t-il correctement détectés ?

La formule du rappel consiste à diviser le nombre de vrais positifs par la somme des vrais positifs et des faux négatifs. Un score de rappel élevé indique que le modèle détecte la plupart des cas positifs réels dans les données.

Le rappel est essentiel dans des secteurs comme la santé, où l’incapacité à détecter une affection peut retarder le traitement et mettre les patients en danger. Même si certains cas négatifs sont signalés à tort, la priorité reste d’identifier tous les cas réels.

Cependant, les modèles qui se concentrent uniquement sur le rappel peuvent signaler trop de faux positifs, ce qui réduit la précision et nuit à l’efficacité globale du modèle. Pour obtenir des performances fiables d’un modèle d’IA, il est essentiel d’équilibrer le rappel et la précision.

Le compromis : équilibre entre précision et rappel#

La précision et le rappel évoluent souvent en sens opposés. Lorsque l’une augmente, l’autre peut diminuer. Ce compromis est un défi courant dans les tâches d’apprentissage automatique.

Un modèle très précis ne prédit un cas comme positif que lorsqu’il est sûr de lui. Cela réduit les fausses alertes, mais peut faire manquer de vrais cas positifs, ce qui diminue le rappel. Un modèle qui cherche à détecter tous les cas positifs augmente le rappel, mais risque de produire davantage de fausses alertes, ce qui réduit la précision.

Ce compromis devient plus évident lorsque tu ajustes le seuil de décision du modèle. Le seuil est la limite qu’un système utilise pour convertir un score ou une probabilité en action ou en étiquette. Abaisser le seuil incite le système à produire plus souvent un résultat positif, ce qui peut augmenter le rappel, mais réduire la précision. Relever le seuil produit l’effet inverse : le modèle prédit moins de cas positifs, la précision augmente, mais le rappel diminue généralement.

Prenons l’exemple de la détection des courriers indésirables. Le modèle doit trouver un équilibre entre le risque de laisser passer des spams dans la boîte de réception et celui de bloquer de vrais courriels. Un filtre strict peut bloquer par erreur des messages légitimes, tandis qu’un filtre plus permissif peut laisser passer certains spams. Le bon équilibre dépend du cas d’usage et du coût associé à chaque type d’erreur.

L’importance de la courbe précision-rappel#

La courbe précision-rappel, ou courbe PR, montre comment la précision et le rappel évoluent lorsque le seuil de décision du modèle change. Chaque point représente un compromis différent entre les deux. La courbe PR est particulièrement utile pour les jeux de données déséquilibrés, où une classe est beaucoup moins fréquente que l’autre.

Sur des données déséquilibrées, cette courbe fournit souvent des informations plus pertinentes que la courbe caractéristique de fonctionnement du récepteur (ROC), qui montre également dans quelle mesure un modèle distingue les exemples positifs des exemples négatifs à différents seuils de décision. Une courbe précision-rappel qui reste proche du coin supérieur droit indique généralement un modèle ayant à la fois une précision et un rappel élevés, ce qui est idéal.

Présentation du score F1 : une métrique combinée pour trouver un équilibre#

Le score F1 fournit une valeur unique qui rend compte de l’équilibre entre la précision et le rappel. Il se calcule en multipliant la précision par le rappel, puis en multipliant le résultat par deux et en le divisant par la somme de la précision et du rappel. Cette métrique est utile lorsque les faux positifs et les faux négatifs comptent tous les deux, ainsi qu’avec des jeux de données déséquilibrés ou lorsqu’on a besoin d’une vision équilibrée des performances du modèle.

Fig. 4. Calcul du score F1 à partir de la précision et du rappel (Source)

Au-delà de l’exactitude, de la précision et du rappel#

Si l’exactitude, la précision et le rappel sont essentiels, d’autres métriques apportent des informations supplémentaires selon le type de modèle et les caractéristiques du jeu de données.

Voici quelques métriques couramment utilisées pour évaluer différents aspects des performances :

• Spécificité : elle mesure la capacité du modèle à identifier les vrais négatifs. Elle est utile lorsqu’il est important d’éviter les faux positifs.
• AUC : L’AUC, ou aire sous la courbe, fournit un score unique qui reflète la capacité du modèle à distinguer les classes.
• Perte logarithmique : la perte logarithmique sert à mesurer le degré de confiance du modèle dans ses prédictions et pénalise davantage les prédictions erronées faites avec une grande confiance. Ici, la confiance désigne le degré de certitude du modèle quant à sa prédiction.
• Évaluation multilabel : dans les tâches multilabel, les métriques sont moyennées sur l’ensemble des étiquettes afin de refléter les performances globales du modèle.

Appliquer l’exactitude, la précision et le rappel en vision par ordinateur#

Maintenant que nous comprenons mieux la précision et le rappel, voyons comment ces métriques sont appliquées en vision par ordinateur.

Les modèles de vision par ordinateur comme Ultralytics YOLO11 prennent en charge des tâches telles que la détection d’objets, où le modèle identifie les objets présents dans une image et les localise à l’aide de boîtes englobantes. Chaque prédiction comprend à la fois l’étiquette de l’objet et sa position, ce qui rend l’évaluation plus complexe que la simple vérification de l’exactitude d’une étiquette.

Fig. 5. Exemple d’utilisation d’Ultralytics YOLO11 pour la détection d’objets. (Source)

Prenons l’exemple d’une application de vente au détail où des caméras servent à suivre automatiquement les produits en rayon. Un modèle de détection d’objets peut identifier des articles comme des boîtes de céréales, des canettes de soda ou des bouteilles d’eau et marquer leur position.

Dans ce cas, la précision nous indique combien d’articles détectés sont réellement corrects. Une précision élevée signifie que le système évite les faux positifs, par exemple lorsqu’une ombre ou un objet d’arrière-plan est étiqueté comme un produit. Le rappel indique combien de produits réellement présents en rayon le modèle a réussi à détecter. Un rappel élevé signifie que moins d’articles passent inaperçus, ce qui est essentiel pour établir des inventaires exacts.

L’exactitude peut tout de même fournir une mesure générale de la justesse, mais dans ce type de contexte, manquer ne serait-ce que quelques produits ou détecter des articles absents peut avoir un impact important sur la gestion des stocks. C’est pourquoi les développeurs examinent ensemble la précision, le rappel et l’exactitude pour s’assurer que le système est à la fois fiable et pratique dans des conditions réelles.

Exactitude, précision et rappel : les points clés à retenir#

L’exactitude, la précision et le rappel mettent chacun en évidence différents aspects des performances d’un modèle de machine learning. Se fier à une seule métrique peut être trompeur.

Des outils et des métriques comme la matrice de confusion, les courbes précision-rappel et le score F1 aident à mettre en évidence les compromis et à orienter les décisions visant à améliorer le modèle de ML. En choisissant la bonne combinaison de métriques pour une solution d’IA donnée, tu peux t’assurer que les modèles sont exacts, fiables et efficaces dans des applications réelles.

Découvre notre communauté en pleine expansion ! Consulte notre dépôt GitHub pour en savoir plus sur l’IA. Tu veux te lancer dans des projets de vision par ordinateur ? Découvre nos options de licence. Explore l’IA dans l’agriculture et l’IA de vision en robotique sur nos pages consacrées aux solutions !