Accuracy

Genauigkeit dient als grundlegender Maßstab bei der Bewertung von Systemen der künstlichen Intelligenz und quantifiziert den Prozentsatz der korrekten Vorhersagen, die ein Modell im Verhältnis zur Gesamtzahl der Vorhersagen trifft. Im Kontext von Machine Learning und insbesondere beim Supervised Learning liefert diese Metrik eine allgemeine Momentaufnahme darüber, wie effektiv ein Algorithmus mit der während des Trainingsprozesses bereitgestellten Ground Truth übereinstimmt. Obwohl sie das intuitivste Leistungsmaß ist – und die einfache Frage beantwortet: „Wie oft hat das Modell recht?“ – fungiert sie als primärer Indikator für die Zuverlässigkeit eines Systems, bevor Entwickler sich mit detaillierteren Metriken befassen.

Link to this sectionDie Nuancen der Leistungsbewertung#

Während Genauigkeit ein hervorragender Ausgangspunkt ist, ist sie am effektivsten, wenn sie auf ausgewogene Training Data angewendet wird, bei denen alle Klassen gleichermaßen repräsentiert sind. Wenn beispielsweise bei einer standardmäßigen Image Classification-Aufgabe zwischen Katzen und Hunden unterschieden wird und der Datensatz 500 Bilder von jedem enthält, ist die Genauigkeit eine vertrauenswürdige Metrik. Herausforderungen entstehen jedoch bei imbalanced datasets, was zum „Genauigkeits-Paradoxon“ führt.

Wenn ein Modell für die Fraud Detection trainiert wird, bei der nur 1 % der Transaktionen betrügerisch sind, würde ein Modell, das einfach jede Transaktion als „legitim“ vorhersagt, eine Genauigkeit von 99 % erreichen, während es bei seiner eigentlichen Aufgabe völlig versagt. Um dies zu mildern, nutzen Ingenieure häufig die Ultralytics Platform, um die Datensatzverteilung zu visualisieren und sicherzustellen, dass die Modelle nicht einfach die Mehrheitsklasse auswendig lernen.

Link to this sectionUnterscheidung der Genauigkeit von verwandten Begriffen#

Um die Modellleistung vollständig zu verstehen, ist es entscheidend, die Genauigkeit von ähnlichen Metriken zu unterscheiden:

• Precision: Dies misst die Qualität positiver Vorhersagen. Sie stellt die Frage: „Wie viele der als positiv vorhergesagten Instanzen waren tatsächlich positiv?“
• Recall: Auch als Sensitivität bekannt, misst dies die Fähigkeit des Modells, alle relevanten Fälle zu finden. Sie stellt die Frage: „Wie viele der tatsächlich positiven Instanzen hat das Modell korrekt identifiziert?“
• F1-Score: Dies ist das harmonische Mittel aus Precision und Recall und bietet einen einzelnen Wert, der beide ausgleicht, was besonders bei ungleichmäßigen Klassenverteilungen nützlich ist.

Während die Genauigkeit einen globalen Überblick über die Korrektheit bietet, liefern Precision und Recall Einblicke in spezifische Fehlertypen, wie etwa falsch-positive oder falsch-negative Ergebnisse.

Link to this sectionPraxisanwendungen#

Der Nutzen der Genauigkeit erstreckt sich über verschiedene Branchen und validiert die Zuverlässigkeit von Computer Vision und Vorhersagemodellen in kritischen Umgebungen.

• Medizinische Diagnostik: Im Bereich der Medical Image Analysis werden Modelle eingesetzt, um Röntgenbilder oder MRT-Scans zu klassifizieren. Ein Modell, das Scans als „gesund“ oder „pathologisch“ einstuft, ist auf eine hohe Genauigkeit angewiesen, um sicherzustellen, dass Patienten korrekte Diagnosen erhalten. Innovationen im Bereich AI in healthcare hängen stark von einer strengen Validierung ab, um automatisierte Fehler zu minimieren.
• Qualitätskontrolle in der Fertigung: Automatisierte Systeme in der Smart Manufacturing nutzen visuelle Inspektion, um Defekte an Montagelinien zu identifizieren. Eine hohe Genauigkeit stellt sicher, dass nur fehlerfreie Produkte versendet werden, was Ausschuss und Gewährleistungskosten reduziert. Durch den Einsatz von Object Detection zur Fehlererkennung halten Fabriken ihre Produktionsstandards automatisch ein.

Link to this sectionGenauigkeit im Code messen#

In praktischen Szenarien mit Python können Entwickler die Genauigkeit eines Modells einfach mithilfe etablierter Bibliotheken messen. Das folgende Beispiel zeigt, wie ein YOLO26-Klassifizierungsmodell validiert wird, um seine Top-1-Genauigkeit zu ermitteln. Die Top-1-Genauigkeit bezieht sich auf die Häufigkeit, mit der die Vorhersage des Modells mit der höchsten Wahrscheinlichkeit mit dem korrekten Label übereinstimmt.

from ultralytics import YOLO

# Load a pre-trained YOLO26 classification model
model = YOLO("yolo26n-cls.pt")

# Validate the model on a standard dataset (e.g., MNIST)
metrics = model.val(data="mnist")

# Print the Top-1 Accuracy
print(f"Top-1 Accuracy: {metrics.top1:.4f}")

Link to this sectionStrategien zur Verbesserung#

Wenn ein Modell unter geringer Genauigkeit leidet, können verschiedene Techniken eingesetzt werden, um die Leistung zu steigern. Ingenieure nutzen oft Data Augmentation, um die Vielfalt des Trainingssets künstlich zu erhöhen und so zu verhindern, dass das Modell Overfitting betreibt. Zusätzlich kann Hyperparameter Tuning – das Anpassen von Einstellungen wie der Learning Rate – die Konvergenz erheblich beeinflussen. Für komplexe Aufgaben ermöglicht Transfer Learning einem Modell, Wissen aus einem großen, vortrainierten Datensatz (wie ImageNet) zu nutzen, um eine höhere Genauigkeit auf einem kleineren, spezifischen Datensatz zu erzielen.