Accuracy

Genauigkeit dient als grundlegender Maßstab bei der Bewertung von Systemen der künstlichen Intelligenz und gibt den Prozentsatz der korrekten Vorhersagen eines Modells im Verhältnis zur Gesamtzahl der Vorhersagen an. Im Kontext von maschinellem Lernen und insbesondere von überwachtem Lernen liefert diese Metrik einen übergeordneten Überblick darüber, wie gut ein Algorithmus mit den während des Trainingsprozesses bereitgestellten Referenzdaten übereinstimmt. Obwohl sie das intuitivste Leistungsmaß ist und die einfache Frage beantwortet: „Wie oft liegt das Modell richtig?“, dient sie als wichtiger Indikator für die Zuverlässigkeit eines Systems, bevor Entwickler detailliertere Metriken untersuchen.

Die Feinheiten der Leistungsbewertung#

Genauigkeit ist zwar ein hervorragender Ausgangspunkt, aber besonders effektiv bei ausgewogenen Trainingsdaten, in denen alle Klassen gleich häufig vertreten sind. Bei einer standardmäßigen Bildklassifizierungs aufgabe, bei der zwischen Katzen und Hunden unterschieden wird, ist die Genauigkeit beispielsweise eine verlässliche Metrik, wenn der Datensatz jeweils 500 Bilder von Katzen und Hunden enthält. Bei unausgewogenen Datensätzen treten jedoch Probleme auf, die zum sogenannten „Genauigkeitsparadoxon“ führen.

Wird ein Modell für die Betrugserkennung trainiert, bei der nur 1 % der Transaktionen betrügerisch sind, würde ein Modell, das einfach jede Transaktion als „legitim“ vorhersagt, eine Genauigkeit von 99 % erreichen, seine eigentliche Aufgabe jedoch vollständig verfehlen. Um dies zu vermeiden, verwenden Entwickler häufig die Ultralytics Platform, um die Verteilung des Datensatzes zu visualisieren und sicherzustellen, dass Modelle nicht einfach die Mehrheitsklasse auswendig lernen.

Genauigkeit von verwandten Begriffen unterscheiden#

Um die Leistung eines Modells vollständig zu verstehen, ist es entscheidend, die Genauigkeit von ähnlichen Metriken zu unterscheiden:

• Precision: Diese Metrik misst die Qualität positiver Vorhersagen. Sie beantwortet die Frage: „Wie viele der als positiv vorhergesagten Fälle waren tatsächlich positiv?“
• Recall: Diese auch als Sensitivität bezeichnete Metrik misst die Fähigkeit des Modells, alle relevanten Fälle zu finden. Sie beantwortet die Frage: „Wie viele der tatsächlich positiven Fälle hat das Modell korrekt erkannt?“
• F1-Score: Dabei handelt es sich um das harmonische Mittel aus Precision und Recall. Der resultierende Einzelwert gleicht beide Metriken aus und ist besonders bei ungleich verteilten Klassen nützlich.

Während die Genauigkeit einen globalen Überblick über die Korrektheit bietet, liefern Precision und Recall Einblicke in bestimmte Fehlertypen, etwa falsch-positive oder falsch-negative Ergebnisse.

Anwendungen in der Praxis#

Der Nutzen der Genauigkeit erstreckt sich auf zahlreiche Branchen und bestätigt die Zuverlässigkeit von Computer Vision und Vorhersagemodellen in kritischen Umgebungen.

• Medizinische Diagnostik: Im Bereich der medizinischen Bildanalyse werden Modelle zur Klassifizierung von Röntgen- oder MRT-Aufnahmen eingesetzt. Ein Modell, das Aufnahmen entweder als „gesund“ oder „krankhaft“ klassifiziert, ist auf eine hohe Genauigkeit angewiesen, damit Patienten korrekte Diagnosen erhalten. Innovationen im Bereich der KI im Gesundheitswesen hängen stark von einer strengen Validierung ab, um automatisierte Fehler zu minimieren.
• Qualitätskontrolle in der Fertigung: Automatisierte Systeme in der intelligenten Fertigung nutzen die visuelle Inspektion, um Defekte an Fließbändern zu erkennen. Eine hohe Genauigkeit stellt sicher, dass nur fehlerfreie Produkte ausgeliefert werden, und reduziert Ausschuss sowie Garantiekosten. Durch den Einsatz von Objekterkennung zur Erkennung von Mängeln halten Fabriken ihre Produktionsstandards automatisch ein.

Genauigkeit im Code messen#

In der Praxis können Entwickler mit Python die Genauigkeit eines Modells mithilfe etablierter Bibliotheken einfach messen. Das folgende Beispiel zeigt, wie ein YOLO26-Klassifizierungsmodell validiert wird, um seine Top-1-Genauigkeit zu ermitteln. Die Top-1-Genauigkeit bezeichnet die Häufigkeit, mit der die wahrscheinlichste Vorhersage des Modells mit dem korrekten Label übereinstimmt.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., MNIST)
metrics = model.val(data="mnist")

# Print the Top-1 Accuracy
print(f"Top-1 Accuracy: {metrics.top1:.4f}")

Strategien zur Verbesserung#

Wenn ein Modell unter einer niedrigen Genauigkeit leidet, können verschiedene Techniken eingesetzt werden, um seine Leistung zu verbessern. Entwickler verwenden häufig Datenerweiterung, um die Vielfalt des Trainingsdatensatzes künstlich zu erhöhen und das Modell vor Überanpassung zu bewahren. Zusätzlich kann die Hyperparameteroptimierung – etwa die Anpassung von Einstellungen wie der Lernrate – die Konvergenz erheblich beeinflussen. Bei komplexen Aufgaben ermöglicht Transferlernen einem Modell, Wissen aus einem großen, vortrainierten Datensatz wie ImageNet zu nutzen, um eine höhere Genauigkeit bei einem kleineren, spezifischen Datensatz zu erreichen.