Uncertainty Quantification

Die Unsicherheitsquantifizierung (UQ) ist der Prozess des Schätzens, Bewertens und Kommunizierens, wie unsicher ein KI- oder machine learning-Modell hinsichtlich seiner Vorhersagen ist. Anstatt nur ein Label, einen Wert oder eine Bounding Box zurückzugeben, liefert ein UQ-Workflow zusätzliche Informationen wie eine Wahrscheinlichkeitsverteilung, ein Vorhersageintervall, einen Konfidenzwert oder ein Vorhersageset. Dies hilft Anwendern zu verstehen, nicht nur was ein Modell vorhersagt, sondern auch, wie viel Vertrauen man in diese Vorhersage setzen kann.

Link to this sectionWarum Unsicherheitsquantifizierung wichtig ist#

Modelle lernen Muster aus begrenzten Daten, sodass ihre Ausgaben niemals völlig sicher sind. Eingaben können verrauscht sein, Labels können mehrdeutig sein und Produktionsdaten können von der Trainingsverteilung abweichen. UQ macht diese Einschränkungen messbar und unterstützt sicherere Entscheidungen, menschliche Prüfungen und eine bessere Datenerfassung.

Diese Idee erweitert das umfassendere Ziel der Charakterisierung der Modellqualität, wie es im NIST’s virtual measurement program beschrieben wird. In AI-Systemen können Unsicherheitsschätzungen Teams dabei helfen:

• Vorhersagen abzulehnen oder zu überprüfen, wenn die Unsicherheit ein akzeptables Niveau überschreitet.
• Alternative Vorhersagen zu vergleichen, anstatt sich auf eine einzige Antwort zu verlassen.
• Unbekannte Eingaben und möglichen data drift zu identifizieren.
• Unsichere Stichproben durch active learning für die Kennzeichnung zu priorisieren.
• Unsicherheit in nachgelagerte Berechnungen und Entscheidungen einfließen zu lassen, wie es in der Übersicht des Energieministeriums über uncertainty in computational models veranschaulicht wird.

UQ ist besonders wichtig, wenn Vorhersagefehler ungleiche Konsequenzen haben. Das Übersehen eines Fußgängers ist schwerwiegender als das inkorrekte Erkennen eines Schildes am Straßenrand, weshalb der akzeptable Unsicherheitsschwellenwert von der Anwendung abhängt.

Link to this sectionAleatorische und epistemische Unsicherheit#

Zwei Kategorien erklären, woher die Vorhersageunsicherheit stammt:

• Aleatorische Unsicherheit, auch aleatorische Unsicherheit genannt, stammt von inhärenter Zufälligkeit oder Mehrdeutigkeit in den Daten. Bewegungsunschärfe, Sensorrauschen, partielle Okklusion und inkonsistente Labels können ein Bild selbst für ein gut trainiertes Modell schwer interpretierbar machen. Mehr Trainingsdaten können helfen, diese Unsicherheit zu schätzen, aber sie können die zugrundeliegende Mehrdeutigkeit nicht vollständig beseitigen.
• Epistemische Unsicherheit stammt aus unvollständigem Modellwissen. Sie tritt häufig auf, wenn Trainingsdaten unzureichend oder nicht repräsentativ sind oder wichtige Situationen fehlen. Sie kann häufig durch das Sammeln relevanter Beispiele, das Verbessern von Annotationen oder das Ändern des Modells reduziert werden.

UQ kombiniert Informationen über diese Quellen zu nützlichen Ausgaben. Probabilistische Modellierungswerkzeuge wie TensorFlow Probability können Vorhersagen als Verteilungen darstellen, während ensemble methods die Unsicherheit durch den Vergleich mehrerer Modelle oder Trainingsläufe schätzen. Große Uneinigkeit deutet im Allgemeinen auf eine größere epistemische Unsicherheit hin.

Unsicherheit ist mit einem confidence score verwandt, aber breiter gefasst. Konfidenz beschreibt die Stärke einer Vorhersage, während UQ bewertet, ob dieser Score zuverlässig ist und welche Unsicherheitsquellen ihn beeinflussen. Ähnlich ist conformal prediction eine spezifische Technik zur Erstellung von Vorhersagemengen oder -intervallen mit einer Zielabdeckung unter definierten Annahmen.

Link to this sectionMethoden und Evaluierung#

Gängige UQ-Ansätze umfassen probabilistische Ausgaben, Ensembles, wiederholte Stichprobenentnahme, bayessche Modellierung und Vorhersageintervalle. Bootstrap confidence intervals schätzen die Variabilität durch wiederholtes Resampling beobachteter Daten. Bei der Klassifikation prüft die Kalibrierung, ob Vorhersagen mit einer zugewiesenen Wahrscheinlichkeit von etwa 80 % in etwa 80 % der Fälle korrekt sind.

Ein Modell kann genau, aber schlecht kalibriert sein, daher sollten Teams sowohl die Aufgabenleistung als auch die Unsicherheitsqualität bewerten. Probability calibration tools verwenden Zuverlässigkeitsdiagramme und Kalibrierungstechniken, um vorhergesagte Wahrscheinlichkeiten mit beobachteten Ergebnissen zu vergleichen. Googles Rules of Machine Learning betont ebenfalls interpretierbare, überwachte probabilistische Vorhersagen.

Nützliche Evaluierungskriterien umfassen Abdeckung, Intervallbreite, Kalibrierungsfehler und Leistung bei schwierigen Datenschnitten. Für Computer Vision helfen der Ultralytics validation mode und der YOLO performance metrics guide dabei, Präzision, Recall, Konfusionsmatrizen und das Konfidenzverhalten über Klassen und Schwellenwerte hinweg zu untersuchen.

Link to this sectionPraxisanwendungen#

• Medical image analysis: Ein Diagnosemodell kann einen Scan zur Überprüfung durch Spezialisten markieren, wenn mehrere plausible Befunde ähnliche Scores aufweisen oder wenn sich das Bild von den Trainingsdaten unterscheidet. Ohne diese Eskalation könnte eine übermäßig zuversichtliche falsche Vorhersage die Behandlung verzögern.
• Manufacturing visual inspection: Ein Defektdetektor kann auf Blendung, neue Materialien oder zuvor ungesehene Schäden stoßen. Unsicherheitsbewusstes Routing kann mehrdeutige Produkte zur manuellen Inspektion senden, anstatt sie automatisch zu akzeptieren oder abzulehnen, wodurch sowohl entgangene Defekte als auch unnötiger Ausschuss reduziert werden.

Diese Richtlinien verknüpfen Modellunsicherheit mit operationellem Risiko. Das NIST AI Risk Management Framework Core empfiehlt, Unsicherheit zu messen, Verallgemeinerungsgrenzen zu dokumentieren und Systeme während der gesamten Bereitstellung zu überwachen.

Link to this sectionUnsicherheit in Ultralytics YOLO Workflows#

Ultralytics YOLO26 stellt Detektionskonfidenzwerte über den dokumentierten Predict mode zur Verfügung:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Dieser Workflow stellt ein nützliches unsicherheitsbezogenes Signal bereit, aber Konfidenz allein ist kein vollständiges UQ und sollte nicht automatisch als kalibrierte Wahrscheinlichkeit interpretiert werden. Validieren Sie Scores anhand repräsentativer Hold-out-Daten, wählen Sie Schwellenwerte basierend auf Fehlerkosten und überwachen Sie Konfidenzverteilungen nach der Bereitstellung.

Teams können die Ultralytics Platform nutzen, um Datensätze zu annotieren, Modelle zu trainieren und bereitzustellen sowie Endpunkte zu überwachen. In Kombination mit laufender model monitoring and maintenance können Unsicherheitssignale ungewohnte Bedingungen aufdecken, menschliche Prüfungen leiten und identifizieren, wann neue Daten oder ein Retraining erforderlich sind.