YOLO lizenzieren
Zurück zum Ultralytics-Glossar

Confidence Interval

Ein Konfidenzintervall quantifiziert die Stichprobenunsicherheit bei Modellmetriken wie Genauigkeit und mAP. Ein 95-%-Intervall beschreibt die Abdeckung bei wiederholten Stichproben.

Ein Konfidenzintervall (CI) ist ein anhand einer Stichprobe berechneter Bereich, der mit einem Verfahren ermittelt wird, das eine unbekannte Größe der Grundgesamtheit mit einer festgelegten Häufigkeit erfassen soll. Beim maschinellen Lernen schätzt ein Testergebnis, wie gut ein festes Modell bei den Arten von Eingaben abschneidet, die durch den Testsatz repräsentiert werden. Das Intervall zeigt, wie präzise sich diese Leistung anhand einer endlichen Stichprobe schätzen lässt.

Was ein 95-%-Konfidenzintervall bedeutet#

Wenn du wiederholt vergleichbare Stichproben aus Testdaten ziehst und jedes Mal auf dieselbe Weise ein Intervall berechnest, würde ein Verfahren mit einer Abdeckungswahrscheinlichkeit von 95 % langfristig in etwa 95 von 100 Intervallen den wahren Messwert erfassen. Der Messwert ist fest; die Intervallgrenzen ändern sich von Stichprobe zu Stichprobe. Jerzy Neyman führte diesen frequentistischen Ansatz in seiner Arbeit über Stichprobenziehung von 1934 ein.

Ein höheres Konfidenzniveau führt bei denselben Daten in der Regel zu einem breiteren Intervall. Mehr unabhängige Beobachtungen machen das Intervall bei gleichbleibendem Konfidenzniveau üblicherweise schmaler. Die Breite gibt die Präzision der Stichprobe an: Ein Intervall kann schmal sein, selbst wenn eine Verzerrung des Datensatzes dazu führt, dass die Teststichprobe die Einsatzbedingungen nicht repräsentiert.

So berechnest du ein Konfidenzintervall#

Für einen Stichprobenmittelwert lautet eine gängige Formel Schätzwert ± Fehlerspanne. Die Fehlerspanne ergibt sich aus dem Produkt von kritischem Wert und Standardfehler. Der Standardfehler misst, wie stark der Schätzwert bei wiederholten Stichproben schwankt. Bei unabhängigen Beobachtungen aus derselben Grundgesamtheit entspricht der geschätzte Standardfehler des Mittelwerts der Stichprobenstandardabweichung geteilt durch die Quadratwurzel des Stichprobenumfangs. Ein zweiseitiges 95-%-Normalintervall verwendet einen kritischen Wert von 1,96; in jedem Randbereich verbleiben 2,5 %. Ein t-Intervall für eine Stichprobe verwendet einen kritischen Wert der Student-t-Verteilung mit einem Freiheitsgrad weniger als der Stichprobenumfang. Seine Abdeckungswahrscheinlichkeit ist exakt, wenn die unabhängigen Beobachtungen aus derselben Normalverteilung stammen.

Die Methode hängt vom Messwert und davon ab, wie die Testdaten erhoben wurden:

  • Klassifikationsgenauigkeit: Bei unabhängigen Bildern und einer einheitlichen Wahrscheinlichkeit für eine korrekte Klassifikation verwendet ein Wilson-Score-Intervall die Anzahl korrekter Vorhersagen und den Umfang des Testsatzes, um diese Wahrscheinlichkeit zu schätzen. Beide Grenzen liegen zwischen 0 % und 100 %.
  • Mittlere durchschnittliche Präzision (mAP): Führe ein Bootstrap-Verfahren für den gesamten Messwert durch, indem du Testeinheiten mit Zurücklegen ziehst und für jede Ziehung die mAP neu berechnest. Ein 95-%-Perzentilintervall verwendet das 2,5. und 97,5. Perzentil dieser Werte. Bei einem Bootstrap auf Bildebene werden die Vorhersagen und Annotationen jedes Bildes gemeinsam berücksichtigt.

Durchgerechnetes Beispiel: Genauigkeit bei handgeschriebenen Ziffern#

Das Beispiel zur Ziffernklassifikation in scikit-learn trainiert eine Support-Vektor-Maschine mit der ersten Hälfte der enthaltenen Ziffernbilder und bewertet sie mit der zweiten Hälfte. Der Code verwendet dieselbe Aufteilung und berechnet ein Wilson-Intervall mit der API für Binomialanteile von SciPy.

from scipy.stats import binomtest
from sklearn.datasets import load_digits
from sklearn.svm import SVC

X, y = load_digits(return_X_y=True)
split = len(y) // 2
model = SVC(gamma=0.001)
model.fit(X[:split], y[:split])
predictions = model.predict(X[split:])

correct = int((predictions == y[split:]).sum())
accuracy = binomtest(correct, len(y[split:]))
interval = accuracy.proportion_ci(confidence_level=0.95, method="wilson")
print(f"Accuracy: {accuracy.statistic:.1%} (95% CI: {interval.low:.1%}–{interval.high:.1%})")

Der Klassifikator erkennt 871 von 899 Bildern korrekt: 96,9 % Genauigkeit mit einem 95-%-Wilson-Intervall von 95,5 %–97,8 % unter der Annahme unabhängiger Bilder. Die enthaltenen Bilder stammen aus dem UCI-Testsatz handgeschriebener Ziffern, der von 13 Schreibenden erstellt wurde. Bilder derselben Person können gemeinsame Schriftmerkmale aufweisen. Für die Schätzung der Genauigkeit bei neuen Schreibenden muss diese Gruppierung daher berücksichtigt werden.

Konfidenzintervalle, Scores und Vorhersagen#

Ein Konfidenzwert ist die Modellausgabe für eine einzelne Vorhersage. Im Vorhersagemodus von Ultralytics YOLO legt conf den Mindestwert fest, den eine Erkennung erreichen muss, um beibehalten zu werden. Ein Konfidenzintervall für den Recall bei diesem Schwellenwert quantifiziert die Unsicherheit der Recall-Schätzung anhand der Teststichprobe.

Ein Vorhersageintervall bezieht sich auf eine zukünftige Beobachtung. So wurde beispielsweise konforme Vorhersage verwendet, um pixelweise Vorhersageintervalle auf KITTI für Tiefenschätzungen in neuen Frames zu erstellen.

Computer-Vision-Modelle vergleichen#

Ein Intervall für ein festes Modell misst die Stichprobenunsicherheit des Testsatzes. Beim Vergleich von Trainingspipelines kommt außerdem die Variation durch Faktoren wie zufällige Initialisierung und Hyperparameteroptimierung hinzu, die sich anhand wiederholter Trainingsläufe messen lässt.

Wenn zwei Objektdetektoren mit demselben Testsatz arbeiten, zieht ein gepaartes Bootstrap-Verfahren bei jeder Ziehung dieselben Einheiten für beide Modelle und berechnet die Differenz der mAP. Unabhängig erhobene Einzelbilder können einzeln gezogen werden. Wenn unabhängig aufgenommene Videos korrelierte Frames enthalten, bleibt deren Abhängigkeit erhalten, wenn ganze Videos gezogen werden. Werden benachbarte Frames als unabhängig behandelt, kann das Intervall zu schmal ausfallen. Da die Paarung den Zusammenhang zwischen den Ergebnissen für dieselben Eingaben erhält, kann das Intervall für die mAP-Differenz die Null ausschließen, selbst wenn sich die beiden einzelnen Konfidenzintervalle überlappen.

Lösungen entdecken

Computer Vision im Sport

Computer Vision im Sport

Entdecke, wie Ultralytics YOLO die Sportbildanalyse voranbringt – mit Spieler- und Ballverfolgung, Leistungsanalysen, Erkenntnissen für das Coaching und der Rehabilitation von Athleten.
Mehr erfahren
Computer Vision für Luftbilder

Computer Vision für Luftbilder

Verwandle Drohnen- und Luftbilder mit Ultralytics YOLO in Echtzeit-Erkenntnisse für Landwirtschaft, Aquakultur, Naturschutz und Geodatenanalyse.
Mehr erfahren
Computer Vision in der Luft- und Raumfahrt

Computer Vision in der Luft- und Raumfahrt

Setze Computer Vision in der Luft- und Raumfahrt mit Ultralytics YOLO ein – für Flugzeuginspektionen, die Erkennung von Fremdkörpern auf Start- und Landebahnen, den Bodenbetrieb am Flughafen und die Erkennung von Verbundwerkstofffehlern.
Mehr erfahren
Computer Vision im Sicherheitsbereich

Computer Vision im Sicherheitsbereich

Schütze jeden Standort mit Ultralytics YOLO-Modellen. Vision-KI ermöglicht die Überwachung von Grundstücksgrenzen, die Erkennung von Bedrohungen, die Kennzeichenerkennung und die Sicherheit am Arbeitsplatz.
Mehr erfahren
Computer Vision in der Robotik

Computer Vision in der Robotik

Mach Maschinen mit Ultralytics YOLO-Modellen leistungsfähiger. Vision-KI in der Robotik ermöglicht autonome Navigation, Wahrnehmung, Objektverfolgung und Steuerung in Echtzeit.
Mehr erfahren
Bildverarbeitung in der Logistik

Bildverarbeitung in der Logistik

Optimiere die Logistik mit Ultralytics YOLO-Modellen. Vision AI ermöglicht die Paketprüfung, Sortierung und Fahrzeugverfolgung sowie die Sicherheitsüberwachung von Lagerhäusern in Echtzeit.
Mehr erfahren
Bildverarbeitung im Einzelhandel

Bildverarbeitung im Einzelhandel

Gestalte den Einzelhandel mit Ultralytics YOLO-Modellen neu. Vision AI ermöglicht Bestandsverfolgung, Regalüberwachung und Warteschlangenmanagement und liefert bessere Einblicke in das Kundenverhalten.
Mehr erfahren
Bildverarbeitung im Gesundheitswesen

Bildverarbeitung im Gesundheitswesen

Entwickle Lösungen für das Gesundheitswesen mit Ultralytics YOLO-Modellen. Vision AI ermöglicht im Gesundheitswesen schnellere medizinische Bildgebung, bessere Diagnostik und die Überwachung von Patienten.
Mehr erfahren
Computer Vision in der Fertigung

Computer Vision in der Fertigung

Optimiere die Fertigung mit Ultralytics-YOLO-Modellen. Vision AI ermöglicht Qualitätskontrolle, Fehlererkennung, die Überprüfung der Einhaltung von Vorgaben zu persönlicher Schutzausrüstung und die Automatisierung von Montagelinien.
Mehr erfahren
Computer Vision in der Automobilbranche

Computer Vision in der Automobilbranche

Setze Computer Vision in der Automobilbranche mit Ultralytics-YOLO-Modellen ein. Vision AI verbessert die Verkehrssicherheit, Fahrerassistenz und Fahrzeugautomatisierung – für intelligentere Straßen.
Mehr erfahren
Computer Vision in der Landwirtschaft

Computer Vision in der Landwirtschaft

Setze mit Ultralytics YOLO-Modellen KI für Bildverarbeitung in der intelligenten Landwirtschaft ein. Ermögliche die Überwachung von Nutzpflanzen, die Verfolgung von Nutztieren und Präzisionslandwirtschaft für höhere und nachhaltigere Erträge.
Mehr erfahren

Lass uns gemeinsam die Zukunft der KI gestalten!

Starte deine Reise in die Zukunft des maschinellen Lernens