Konfidenz

Im Bereich des maschinellen Lernens und der künstlichen Intelligenz ist ein Konfidenzwert ein numerischer Wert, der die Wahrscheinlichkeit angibt, dass eine bestimmte Vorhersage Modell richtig ist. Dieser Wert wird in der Regel als Wahrscheinlichkeit zwischen 0 und 1 (oder als Prozentsatz von 0 % bis 100 %) ausgedrückt und Wert die Sicherheit des neuronalen neuronalen Netzes in Bezug auf seine Ausgabe. Unter Beispiel: Bei einer Objekterkennungsaufgabe könnte das System das Vorhandensein einer "Katze" mit einer Wahrscheinlichkeit von 0,95 vorhersagen, was auf einen starken Glauben an die Genauigkeit dieser Bezeichnung hinweist. dieser Bezeichnung. Diese Werte werden in der Regel von der letzten Schicht des Modells abgeleitet, wobei Aktivierungsfunktionen wie die Softmax-Funktion für Mehrklassenprobleme oder die Sigmoid-Funktion für binäre Klassifizierung.

Die Rolle des Vertrauens bei der Inferenz

Konfidenzwerte sind eine grundlegende Komponente des Arbeitsablaufs der Inferenzmaschine. Sie ermöglichen es Entwicklern Vorhersagen auf der Grundlage eines bestimmten Sicherheitsniveaus zu filtern, ein Prozess, der als Schwellenwert bekannt ist. Durch die Festlegung eines bestimmten Konfidenzschwelle können Sie den Kompromiss zwischen der Identifizierung aller möglichen Objekte (hohe Wiedererkennung) und der Sicherstellung, dass die identifizierten Objekte korrekt sind (hohe Präzision).

Beim praktischen Einsatz von Modellen enthalten die Rohprognosen oft Rauschen oder Erkennungen mit geringer Wahrscheinlichkeit enthalten. Techniken wie nicht-maximale Unterdrückung (NMS) nutzen Konfidenzwerte, um redundante, sich überschneidende Felder zu eliminieren und nur die Erkennung mit der höchsten Wahrscheinlichkeit zu behalten. Dadurch wird sichergestellt, dass die endgültige Ausgabe, die dem Benutzer präsentiert wird, sauber und umsetzbar ist.

Das folgende Beispiel veranschaulicht, wie eine Konfidenzschwelle während der Inferenz angewendet werden kann, indem Ultralytics YOLO11:

from ultralytics import YOLO

# Load a pretrained YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image with a confidence threshold of 0.6 (60%)
# This filters out any detections with a confidence score lower than 0.6
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.6)

# Display the count of objects detected above the threshold
print(f"Detected {len(results[0].boxes)} objects with high confidence.")

Anwendungsfälle in der Praxis

Der Nutzen von Konfidenzwerten erstreckt sich auf praktisch alle Branchen, die Bildverarbeitung und KI-Lösungen einsetzen.

• Autonome Systeme: Bei der Entwicklung von autonomen Fahrzeugen steht die Sicherheit an erster Stelle. Wahrnehmungssysteme verwenden Vertrauenswerte, um Daten von Kameras und LiDAR zu fusionieren. Wenn ein Bildverarbeitungsmodell ein Hindernis erkennt, kann das System dies mit Radardaten abgleichen, bevor es eine Notbremsung auslöst. Dieser vielschichtige Ansatz, der für KI im Automobilbereich entscheidend ist, hilft, gefährliche Phantombremsungen zu vermeiden, die durch Fehlalarme.
• Medizinische Diagnostik: Unter medizinischen Bildanalyse unterstützen KI-Tools Ärzte, indem sie mögliche Anomalien in Röntgenbildern oder MRTs aufzeigen. Ein System, das für KI im Gesundheitswesen entwickelt wurde, könnte eine automatische Vertrauen. Pathologien, die mit hoher Wahrscheinlichkeit erkannt werden, werden zur sofortigen Überprüfung durch einen Radiologen priorisiert. durch einen Radiologen priorisiert, während Regionen mit geringer Wahrscheinlichkeit für einen "zweiten Blick" hervorgehoben werden, um sicherzustellen, dass die KI eher als unterstützender Assistent denn als endgültiger Entscheidungsträger.

Konfidenz vs. Genauigkeit und Präzision

Für Praktiker ist es von entscheidender Bedeutung, "Vertrauen" von Standard Bewertungsmaßstäben zu unterscheiden, die zum Benchmarking Modelle.

• Konfidenz vs. Genauigkeit: Die Genauigkeit misst die allgemeine Korrektheit eines Modells über einen gesamten Datensatz (z. B. "Das Modell ist zu 90 % genau"). Im Gegensatz dazu ist die Konfidenz ein ein vorhersagespezifischer Wert (z. B. "Ich bin mir zu 90 % sicher, dass dieses Bild ein Hund ist"). Ein Modell kann im Allgemeinen genau sein, aber bei schwierigen Beispielen dennoch eine niedrige Konfidenz ausgeben.
• Konfidenz vs. Präzision: Die Genauigkeit berechnet den Prozentsatz der positiven Vorhersagen, die tatsächlich richtig waren. Ein hoher Konfidenzwert ist jedoch keine Garantie für eine hohe Präzision, wenn wenn das Modell an einer Überanpassung leidet oder schlecht kalibriert ist.
• Kalibrierung: Ein Modell gilt als "gut kalibriert", wenn seine Konfidenzwerte die Wahrscheinlichkeit der Korrektheit widerspiegelt. Ein Beispiel, Von allen Vorhersagen, die mit einer Konfidenz von 0,8 gemacht werden, sollten etwa 80 % tatsächlich positive Übereinstimmungen sein.

Verbesserung des Vertrauens in das Modell

Wenn ein Modell durchgängig ein niedriges Vertrauen für gültige Objekte liefert, kann dies auf Probleme mit den Trainingsdaten hinweisen. Zu den Strategien zur Verbesserung dieses Problems gehören Datenerweiterung, um das Modell einer größeren Beleuchtungen und Ausrichtungen ausgesetzt wird, oder der Einsatz aktiven Lernens, um die spezifischen spezifische "Grenzfälle", in denen das Modell derzeit unsicher ist. Die Sicherstellung vielfältiger und hochwertiger Datensätze ist um robuste Systeme zu entwickeln, denen die Nutzer vertrauen können.