Confiance

Dans le domaine de l'apprentissage automatique et de l'intelligence Dans le domaine de l'apprentissage automatique et de l'intelligence artificielle, un indice de confiance est une valeur numérique qui représente la probabilité qu'une prédiction spécifique faite par un modèle soit correcte. par un modèle soit correcte. Généralement exprimée sous la forme d'une probabilité comprise entre 0 et 1 (ou d'un pourcentage compris entre 0 et 100 %), cette note quantifie la certitude de la prédiction. quantifie la certitude du réseau réseau neuronal concernant sa sortie. Par exemple, dans une tâche de Par exemple, dans une tâche de détection d'objets, le système peut prédire la présence d'un "chat" avec une confiance de 0,95, ce qui indique une forte croyance en l'exactitude de cette étiquette. de cette étiquette. Ces scores sont généralement dérivés de la dernière couche du modèle à l'aide de fonctions d'activation telles que la fonction fonction softmax pour les problèmes multi-classes ou la fonction sigmoïde pour les problèmes binaires. sigmoïde pour la classification binaire.

Le rôle de la confiance dans l'inférence

Les scores de confiance sont un élément fondamental du flux de travail du moteur d'inférence. du moteur d'inférence. Ils permettent aux développeurs de filtrer les prédictions en fonction d'un niveau de certitude requis, un processus connu sous le nom de seuillage. En fixant un seuil de confiance seuil de confiance spécifique, vous pouvez gérer efficacement le compromis entre l'identification de tous les objets possibles (rappel élevé) et la garantie que les objets identifiés sont corrects (rappel élevé). et la garantie que les objets identifiés sont corrects (haute précision).

Dans le cadre du déploiement pratique des modèles, les prédictions brutes contiennent souvent du bruit ou des détections à faible probabilité. contiennent souvent du bruit ou des détections à faible probabilité. Des techniques telles que la suppression non maximale (NMS) utilisent les scores de confiance les scores de confiance pour éliminer les boîtes redondantes qui se chevauchent, en ne conservant que la détection ayant la probabilité la plus élevée. Cela garantit que le résultat final présenté à l'utilisateur est propre et exploitable.

L'exemple suivant montre comment appliquer un seuil de confiance pendant l'inférence à l'aide de la fonction Ultralytics YOLO11:

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image with a confidence threshold of 0.6 (60%)
# This filters out any detections with a confidence score lower than 0.6
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.6)

# Display the count of objects detected above the threshold
print(f"Detected {len(results[0].boxes)} objects with high confidence.")

Applications concrètes

L'utilité des scores de confiance s'étend à pratiquement tous les secteurs qui déploient des solutions de vision par ordinateur et d'IA. des solutions de vision par ordinateur et d'IA.

• Systèmes autonomes : Dans le développement des véhicules autonomes, la sécurité est primordiale. véhicules autonomes, la sécurité est primordiale. Les systèmes de perception utilisent des scores de confiance pour fusionner les données des caméras et du LiDAR. Si un modèle de vision détecte un obstacle avec un faible niveau de confiance, le système peut recouper cette détection avec des données radar avant de déclencher le freinage d'urgence. Cette approche stratifiée, cruciale pour l'IA dans l'automobile, permet d'éviter les dangereux freinages fantômes, permet d'éviter les dangereux freinages fantômes causés par des faux positifs.
• Diagnostic médical : Dans l'analyse l'analyse d'images médicales, les outils d'IA médecins en signalant les anomalies potentielles dans les radiographies ou les IRM. Un système conçu pour l l 'IA dans le domaine de la santé pourrait procéder à un tri automatique des cas en fonction de leur degré de confiance. sur la base de la confiance. Les pathologies détectées avec un degré de confiance élevé sont examinées en priorité et immédiatement par un radiologue. immédiatement par un radiologue, tandis que les régions à faible confiance peuvent être simplement pour un "second regard", en veillant à ce que l'IA agisse comme un assistant de soutien plutôt que comme un décideur définitif. décisionnaire.

Confiance vs. exactitude et précision

Il est essentiel que les praticiens fassent la distinction entre la "confiance" et les mesures d'évaluation standard utilisées pour l'étalonnage des performances. d' évaluation standard utilisées pour comparer les modèles.

• Confiance vs. précision : La précision mesure l'exactitude globale d'un modèle sur l'ensemble d'un jeu de données (par ex. sur l'ensemble d'un jeu de données (par exemple, "Le modèle est précis à 90 %"). En revanche, la confiance est une valeur valeur spécifique à la prédiction (par exemple, "Je suis sûr à 90 % que cette image spécifique est un chien"). Un modèle peut être un modèle peut être généralement précis mais produire une faible confiance sur des exemples difficiles.
• Confiance et précision : La précision calcule le pourcentage de prédictions positives prédictions positives qui se sont avérées correctes. Bien qu'elle soit liée, une note de confiance élevée ne garantit pas une précision élevée si si le modèle souffre d'un surajustement ou est mal calibré. mal calibré.
• Étalonnage : Un modèle est considéré comme "bien calibré" si ses scores de confiance reflètent la véritable probabilité d'exactitude. probabilité réelle d'exactitude. Par exemple, parmi toutes les prédictions effectuées avec un niveau de confiance de 0,8, environ 80 % devraient être des correspondances positives réelles.

Améliorer la confiance dans les modèles

Si un modèle donne systématiquement un faible niveau de confiance pour les objets valides, cela peut indiquer des problèmes avec les données d'apprentissage. données d'apprentissage. Les stratégies d'amélioration sont les suivantes l'augmentation des données pour exposer le modèle à des à des éclairages et des orientations plus variés, ou l'utilisation de l'apprentissage actif pour annoter et ré-entraîner les données. l 'apprentissage actif pour annoter et réapprendre les sur les "cas limites" spécifiques pour lesquels le modèle est actuellement incertain. Garantir des ensembles de données diversifiés et de haute qualité est est essentiel pour construire des systèmes robustes auxquels les utilisateurs peuvent faire confiance.