Uncertainty Quantification

Die Quantifizierung von Unsicherheit (UQ) bezeichnet den Prozess, zu schätzen, zu bewerten und zu kommunizieren, wie unsicher ein KI- oder Machine-Learning-Modell bezüglich seiner Vorhersagen ist. Statt nur ein Label, einen Wert oder einen Begrenzungsrahmen zurückzugeben, liefert ein UQ-Workflow zusätzliche Informationen wie eine Wahrscheinlichkeitsverteilung, ein Vorhersageintervall, einen Konfidenzwert oder eine Vorhersagemenge. Dadurch verstehen Nutzer nicht nur, was ein Modell vorhersagt, sondern auch, wie viel Vertrauen sie in diese Vorhersage setzen sollten.

Warum die Quantifizierung von Unsicherheit wichtig ist#

Modelle lernen Muster aus begrenzten Daten, daher sind ihre Ausgaben niemals vollkommen sicher. Eingaben können verrauscht sein, Labels mehrdeutig und Produktionsdaten können von der Trainingsverteilung abweichen. UQ macht diese Einschränkungen messbar und unterstützt sicherere Entscheidungen, die menschliche Überprüfung und eine bessere Datenerfassung.

Diese Idee erweitert das übergeordnete Ziel, die in NISTs virtuellem Messprogramm beschriebene Modellqualität zu charakterisieren. In KI-Systemen können Unsicherheitsschätzungen Teams dabei helfen:

• Vorhersagen abzulehnen oder zu überprüfen, wenn die Unsicherheit ein akzeptables Maß überschreitet.
• Alternative Vorhersagen zu vergleichen, statt sich auf eine einzige Antwort zu verlassen.
• Unbekannte Eingaben und mögliche Datenverschiebungen zu erkennen.
• Unsichere Stichproben mithilfe von aktivem Lernen für die Kennzeichnung zu priorisieren.
• Unsicherheit in nachgelagerte Berechnungen und Entscheidungen einfließen zu lassen, wie in der Übersicht des US-Energieministeriums zur Unsicherheit in Rechenmodellen dargestellt.

UQ ist besonders wichtig, wenn Vorhersagefehler unterschiedlich schwerwiegende Folgen haben. Einen Fußgänger zu übersehen ist schwerwiegender, als ein Verkehrsschild am Straßenrand fälschlicherweise zu erkennen. Daher hängt der akzeptable Unsicherheitsschwellenwert von der jeweiligen Anwendung ab.

Aleatorische und epistemische Unsicherheit#

Zwei Kategorien erklären, woher die Unsicherheit von Vorhersagen stammt:

• Aleatorische Unsicherheit, auch aleatorische Unsicherheit genannt, entsteht durch inhärente Zufälligkeit oder Mehrdeutigkeit in den Daten. Bewegungsunschärfe, Sensorrauschen, teilweise Verdeckungen und uneinheitliche Labels können die Interpretation eines Bildes selbst für ein gut trainiertes Modell erschweren. Mehr Trainingsdaten können dabei helfen, diese Unsicherheit zu schätzen, die zugrunde liegende Mehrdeutigkeit jedoch nicht vollständig beseitigen.
• Epistemische Unsicherheit entsteht durch unvollständiges Modellwissen. Sie tritt häufig auf, wenn Trainingsdaten unzureichend oder nicht repräsentativ sind oder wichtige Situationen fehlen. Sie lässt sich oft durch das Sammeln relevanter Beispiele, die Verbesserung von Annotationen oder Änderungen am Modell reduzieren.

UQ führt Informationen zu diesen Quellen in nützlichen Ausgaben zusammen. Werkzeuge für probabilistische Modellierung wie TensorFlow Probability können Vorhersagen als Verteilungen darstellen, während Ensemble-Methoden Unsicherheit durch den Vergleich mehrerer Modelle oder Trainingsläufe schätzen. Große Abweichungen zwischen den Ergebnissen deuten im Allgemeinen auf eine höhere epistemische Unsicherheit hin.

Unsicherheit steht mit einem Konfidenzwert in Zusammenhang, geht jedoch darüber hinaus. Konfidenz beschreibt die Stärke einer einzelnen Vorhersage, während UQ bewertet, ob dieser Wert zuverlässig ist und welche Unsicherheitsquellen ihn beeinflussen. Ebenso ist die konforme Vorhersage eine spezielle Methode zur Erstellung von Vorhersagemengen oder -intervallen mit einer angestrebten Abdeckung unter festgelegten Annahmen.

Methoden und Bewertung#

Zu den gängigen UQ-Ansätzen gehören probabilistische Ausgaben, Ensembles, wiederholtes Sampling, Bayes’sche Modellierung und Vorhersageintervalle. Bootstrap-Konfidenzintervalle schätzen die Variabilität, indem beobachtete Daten wiederholt neu gezogen werden. Bei der Klassifikation prüft die Kalibrierung, ob Vorhersagen mit einer Wahrscheinlichkeit von ungefähr 80 % in etwa 80 % der Fälle korrekt sind.

Ein Modell kann zwar genau, aber schlecht kalibriert sein. Daher sollten Teams sowohl die Aufgabenleistung als auch die Qualität der Unsicherheit bewerten. Werkzeuge zur Wahrscheinlichkeitskalibrierung verwenden Zuverlässigkeitsdiagramme und Kalibrierungsverfahren, um vorhergesagte Wahrscheinlichkeiten mit beobachteten Ergebnissen zu vergleichen. Googles Regeln für Machine Learning betonen ebenfalls interpretierbare, überwachte probabilistische Vorhersagen.

Nützliche Bewertungskriterien sind Abdeckung, Intervallbreite, Kalibrierungsfehler und die Leistung bei schwierigen Datenausschnitten. Für Computer Vision helfen der Validierungsmodus von Ultralytics und der Leitfaden zu YOLO-Leistungsmetriken dabei, Präzision, Trefferquote, Konfusionsmatrizen und das Konfidenzverhalten über Klassen und Schwellenwerte hinweg zu untersuchen.

Anwendungen in der Praxis#

• Medizinische Bildanalyse: Ein Diagnosemodell kann einen Scan zur Überprüfung durch einen Spezialisten markieren, wenn mehrere plausible Befunde ähnliche Werte aufweisen oder wenn das Bild von seinen Trainingsdaten abweicht. Ohne diese Eskalation könnte eine übermäßig selbstsichere falsche Vorhersage die Behandlung verzögern.
• Visuelle Qualitätsprüfung in der Fertigung: Ein Fehlerdetektor kann auf Blendung, neue Materialien oder bisher unbekannte Schäden stoßen. Eine unsicherheitsbewusste Weiterleitung kann mehrdeutige Produkte zur manuellen Prüfung schicken, anstatt sie automatisch anzunehmen oder abzulehnen, und dadurch sowohl unentdeckte Fehler als auch unnötigen Ausschuss reduzieren.

Diese Richtlinien verknüpfen die Modellunsicherheit mit dem Betriebsrisiko. Das Kernkonzept des NIST-Risikomanagementrahmens für KI empfiehlt, Unsicherheit zu messen, Grenzen der Generalisierung zu dokumentieren und Systeme während des gesamten Einsatzes zu überwachen.

Unsicherheit in Ultralytics YOLO-Workflows#

Ultralytics YOLO26 stellt Erkennungskonfidenzwerte über seinen dokumentierten Predict-Modus bereit:

from ultralytics import YOLO

# Load an official detection model
model = YOLO("yolo26n.pt")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Inspect each detection's confidence
for box in result.boxes:
    class_id = int(box.cls.item())
    class_name = result.names[class_id]
    confidence = box.conf.item()
    print(f"{class_name}: {confidence:.3f}")

Dieser Workflow stellt ein nützliches Signal im Zusammenhang mit Unsicherheit bereit, aber Konfidenz allein ist keine vollständige UQ und sollte nicht automatisch als kalibrierte Wahrscheinlichkeit interpretiert werden. Validiere die Werte anhand repräsentativer zurückgehaltener Daten, wähle Schwellenwerte auf Grundlage der Fehlerkosten und überwache die Konfidenzverteilungen nach der Bereitstellung.

Teams können die Ultralytics Platform verwenden, um Datensätze zu annotieren sowie Modelle zu trainieren, bereitzustellen und Endpunkte zu überwachen. In Verbindung mit der fortlaufenden Überwachung und Wartung von Modellen können Unsicherheitssignale unbekannte Bedingungen aufdecken, die menschliche Überprüfung steuern und erkennen lassen, wann neue Daten oder ein erneutes Training erforderlich sind.