Précision

La précision est l'une des mesures les plus fondamentales pour évaluer les performances d'un modèle de classification. Elle représente la proportion de prédictions correctes faites par le système par rapport au nombre total de prédictions traitées. représente la proportion de prédictions correctes faites par le système sur le nombre total de prédictions traitées. Dans le contexte plus large de l'apprentissage l'apprentissage automatique (ML), la précision est souvent le premier chiffre que les développeurs examinent pour déterminer si un modèle apprend efficacement ou s'il se contente de deviner. Bien qu'elle fournisse un instantané rapide de l'efficacité, elle est fréquemment utilisée avec d'autres d'évaluation pour assurer une compréhension d'évaluation pour garantir une compréhension complète du comportement du modèle, en particulier lorsqu'il s'agit de faire la distinction entre des classes dans des ensembles de données complexes.

Pertinence et calcul

Le calcul de la précision est simple, ce qui le rend très accessible aux parties prenantes, qu'il s'agisse de scientifiques des données ou de dirigeants d'entreprise. des scientifiques des données aux dirigeants d'entreprise. Elle est définie mathématiquement comme le nombre de vrais positifs et de vrais négatifs divisé par le nombre total de cas. Pour les tâches d'apprentissage tâches d'apprentissage supervisé, cette métrique indique la fréquence à laquelle l'algorithme s'aligne sur la vérité de base fournie dans les données d'apprentissage. données d'apprentissage. Cependant, une grande précision n'implique pas toujours un modèle parfait ; sa fiabilité dépend fortement de la distribution des données d'apprentissage. implique pas toujours un modèle parfait ; sa fiabilité dépend fortement de la distribution des données sous-jacentes.

Applications concrètes

La précision joue un rôle essentiel dans divers secteurs où la prise de décision automatisée aide les experts humains.

• Diagnostic médical : Dans le domaine de l'analyse l'analyse d'images médicales, la précision est est essentielle pour identifier des pathologies telles que les tumeurs ou les fractures. Un modèle très précis réduit la probabilité d'un diagnostic erroné. d'erreur de diagnostic et constitue un second avis fiable pour les radiologues. C'est le cas par exemple, l 'IA dans les soins de santé repose sur une pour trier les patients de manière efficace, en veillant à ce que ceux dont l'état est critique reçoivent une attention immédiate.
• Fabrication automatisée : Dans les environnements de fabrication intelligente, les systèmes d'inspection d'inspection visuelle utilisent la vision par ordinateur pour detect défauts des produits sur les lignes d'assemblage. Un système d'une grande précision garantit que les articles défectueux sont retirés tandis que les produits valides sont emballés. Les produits valides sont emballés, ce qui influe directement sur l'efficacité de la chaîne d'approvisionnement et la réduction des déchets.

Mesurer la précision avec Ultralytics

Lors de l'élaboration de modèles à l'aide de l'outil ultralytics l'évaluation de la précision fait partie intégrante du processus de validation. workflow de validation. L'exemple suivant montre comment charger un YOLO11 modèle de classification et le valider pour récupérer des des mesures de précision.

from ultralytics import YOLO

# Load a pretrained YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Validate the model on the MNIST160 dataset
# The function returns a metrics object containing top1 and top5 accuracy
metrics = model.val(data="mnist160")

# Display the Top-1 accuracy (percentage of times the top prediction was correct)
print(f"Top-1 Accuracy: {metrics.top1:.2f}")

Limites et paradoxe de la précision

Bien qu'intuitive, la précision peut être trompeuse lorsqu'il s'agit d'un ensemble de données déséquilibré. données déséquilibrées. Ce phénomène est connu sous le nom de paradoxe de la précision. Par exemple, dans un scénario de détection de la fraude où seulement 1 % des transactions sont frauduleuses, un modèle qui prédit simplement "légitime" pour chaque transaction atteindra une précision de 99 %. 99 % de précision. Cependant, il échouerait complètement dans sa tâche principale de détection de la fraude. Dans ce cas, le modèle présente une grande précision mais un pouvoir prédictif nul pour la classe minoritaire.

Pour y remédier, les praticiens utilisent l'augmentation des données pour équilibrer les classes ou différentes mesures permettant de disséquer les types d'erreurs commises.

Différencier des concepts connexes

Pour bien comprendre les performances d'un modèle, il faut distinguer la précision des termes connexes :

• Laprécision: Elle mesure la qualité des prédictions positives. des prédictions positives. Contrairement à l'exactitude, la précision ignore les prédictions négatives correctes pour se concentrer sur le nombre de cas positifs identifiés qui étaient réellement positifs. de cas positifs identifiés étaient réellement positifs. Elle est cruciale lorsque les fausses alertes (faux positifs) sont coûteuses.
• Rappel: Également connu sous le nom de sensibilité, le rappel mesure la quantité de cas positifs que le modèle a réussi à trouver. Un rappel élevé est nécessaire lorsqu'il est dangereux de manquer un cas positif (faux négatif). positif (faux négatif) est dangereuse.
• Score F1: Il s'agit de la moyenne harmonique de la précision et du rappel. de la précision et du rappel. Il fournit une vue équilibrée, particulièrement utile lorsque vous devez comparer des modèles sur des distributions de données inégales où la précision peut être faussée. données inégales où la précision peut être faussée.
• Précision moyenne (mAP): Alors que la précision s'applique généralement à la classification, la mAP est la mesure standard pour la détection d'objets. détection d'objets. Elle tient compte à la fois de la classification correcte et de la localisation précise des des boîtes englobantes.

Amélioration de la précision du modèle

L'amélioration de la précision implique un processus itératif d'expérimentation. Les développeurs utilisent souvent d 'hyperparamètres pour ajuster les taux d'apprentissage d'apprentissage et la taille des lots pour obtenir une convergence optimale. En outre, l'utilisation d'architectures avancées telles que Transformers ou les dernières itérations de Ultralytics YOLO peuvent apporter des gains significatifs. Enfin, le fait de s'assurer que l'ensemble de données d'entraînement est propre et diversifié grâce à l'apprentissage actif permet au modèle de mieux se généraliser. l 'apprentissage actif aide le modèle à mieux se généraliser à des données réelles inédites.