Wie man Ultralytics YOLO-Modelle wie YOLO11 benchmarkt

Bei der wachsenden Anzahl an verfügbaren KI-Modellen ist es heutzutage essenziell, das am besten geeignete Modell für deine spezifische KI-Anwendung auszuwählen, um präzise und zuverlässige Ergebnisse zu erzielen. Jedes Modell unterscheidet sich in Geschwindigkeit, Genauigkeit und Gesamtleistung. Wie finden wir also heraus, welches Modell am besten für eine gegebene Aufgabe geeignet ist? Dies ist besonders wichtig für Echtzeitsysteme wie autonome Fahrzeuge, Sicherheitslösungen und Robotik, bei denen eine schnelle und verlässliche Entscheidungsfindung entscheidend ist.

Benchmarking hilft, diese Frage zu beantworten, indem es ein Modell unter verschiedenen Bedingungen bewertet. Es liefert Erkenntnisse darüber, wie gut das Modell auf verschiedenen Hardware-Setups und Konfigurationen funktioniert, was fundiertere Entscheidungen ermöglicht.

Zum Beispiel ist Ultralytics YOLO11 ein computer vision-Modell, das verschiedene visuelle Datenanalyseaufgaben wie Objekterkennung und Instanzsegmentierung unterstützt. Um seine Fähigkeiten vollständig zu verstehen, kannst du seine Leistung auf verschiedenen Setups benchmarken, um zu sehen, wie es mit realen Szenarien umgeht.

In diesem Artikel untersuchen wir, wie du Ultralytics YOLO Modelle wie YOLO11 benchmarkst, ihre Leistung auf verschiedener Hardware vergleichst und siehst, wie sich unterschiedliche Exportformate auf ihre Geschwindigkeit und Effizienz auswirken. Legen wir los!

Link to this sectionWas ist Modell-Benchmarking?#

Wenn es darum geht, ein Vision-KI-Modell in einer realen Anwendung einzusetzen, woher weißt du, ob es schnell, präzise und zuverlässig genug sein wird? Ein Benchmarking des Modells kann Erkenntnisse liefern, um diese Frage zu beantworten. Modell-Benchmarking ist der Prozess des Testens und Vergleichens verschiedener KI-Modelle, um herauszufinden, welches am besten abschneidet.

Es beinhaltet das Festlegen einer Basislinie für den Vergleich, die Auswahl der richtigen Leistungskennzahlen (wie Genauigkeit oder Geschwindigkeit) und das Testen aller Modelle unter denselben Bedingungen. Die Ergebnisse helfen dabei, die Stärken und Schwächen jedes Modells zu identifizieren, was es einfacher macht zu entscheiden, welches am besten für deine spezifische AI solution geeignet ist. Insbesondere wird oft ein benchmark dataset verwendet, um faire Vergleiche zu ermöglichen und zu bewerten, wie gut ein Modell in verschiedenen realen Szenarien funktioniert.

Abb. 1. Warum computer vision-Modelle benchmarken? Bild vom Autor.

Ein klares Beispiel dafür, warum Benchmarking wichtig ist, sind Echtzeitanwendungen wie Überwachung oder Robotik, bei denen selbst leichte Verzögerungen die Entscheidungsfindung beeinflussen können. Benchmarking hilft zu bewerten, ob ein Modell Bilder schnell verarbeiten kann und dennoch zuverlässige Vorhersagen liefert.

Es spielt auch eine Schlüsselrolle bei der Identifizierung von Leistungsengpässen. Wenn ein Modell langsam läuft oder übermäßig viele Ressourcen verbraucht, kann Benchmarking aufdecken, ob das Problem durch Hardwarebeschränkungen, Modellkonfigurationen oder Exportformate verursacht wird. Diese Erkenntnisse sind entscheidend für die Auswahl des effektivsten Setups.

Link to this sectionModell-Benchmarking im Vergleich zu Modellbewertung und -testung#

Modell-Benchmarking, -bewertung und -testung sind populäre KI-Begriffe, die zusammen verwendet werden. Obwohl sie ähnlich sind, sind sie nicht dasselbe und haben unterschiedliche Funktionen. Model testing überprüft, wie gut ein einzelnes Modell abschneidet, indem es auf einem Testdatensatz ausgeführt und Faktoren wie Genauigkeit und Geschwindigkeit gemessen werden. Währenddessen geht die Modellbewertung einen Schritt weiter, indem sie die Ergebnisse analysiert, um die Stärken, Schwächen und die Funktionalität des Modells in realen Situationen zu verstehen. Beide konzentrieren sich jeweils nur auf ein Modell.

Modell-Benchmarking hingegen vergleicht mehrere Modelle direkt miteinander unter Verwendung derselben Tests und Datensätze. Es hilft dabei herauszufinden, welches Modell für eine spezifische Aufgabe am besten funktioniert, indem es Unterschiede in Genauigkeit, Geschwindigkeit und Effizienz zwischen ihnen aufzeigt. Während sich Testen und Bewerten auf ein einzelnes Modell konzentrieren, hilft Benchmarking dabei, das richtige (oder beste) durch einen fairen Vergleich verschiedener Optionen auszuwählen.

Abb. 2. Wie sich Modell-Benchmarking von Bewertung und Testung unterscheidet. Bild vom Autor.

Link to this sectionEin Überblick über Ultralytics YOLO11#

Ultralytics YOLO11 ist ein zuverlässiges Vision-KI-Modell, das darauf ausgelegt ist, verschiedene computer vision tasks präzise auszuführen. Es verbessert frühere YOLO-Modellversionen und ist vollgepackt mit Funktionen, die bei der Lösung realer Probleme helfen können. Zum Beispiel kann es verwendet werden, um Objekte zu erkennen, Bilder zu klassifizieren, Regionen zu segmentieren, Bewegungen zu verfolgen und vieles mehr. Es kann auch in Anwendungen in vielen Branchen eingesetzt werden, von Sicherheit bis hin zu Automatisierung und Analytik.

Abb 3. Ein Beispiel für die Verwendung von YOLO11 zur Segmentierung von Personen in einem Bild.

Einer der Hauptvorteile von Ultralytics YOLO11 ist die einfache Handhabung. Mit nur wenigen Zeilen Code kann jeder es in seine KI-Projekte integrieren, ohne sich mit komplizierten Setups oder fortgeschrittenem technischem Fachwissen auseinandersetzen zu müssen.

Es funktioniert außerdem reibungslos auf verschiedener Hardware und läuft effizient auf CPUs (Central Processing Units), GPUs (Graphics Processing Units) und anderen spezialisierten KI-Beschleunigern. Egal, ob es auf Edge-Geräten oder Cloud-Servern bereitgestellt wird, es liefert eine starke Leistung.

YOLO11 ist in verschiedenen Modellgrößen erhältlich, die jeweils für unterschiedliche Aufgaben optimiert sind. Benchmarking hilft dabei zu bestimmen, welche Version am besten zu deinen spezifischen Anforderungen passt. Zum Beispiel ist eine wichtige Erkenntnis aus dem Benchmarking, dass kleinere Modelle wie nano oder small tendenziell schneller laufen, aber möglicherweise etwas Genauigkeit einbüßen.

Link to this sectionWie du YOLO-Modelle wie YOLO11 benchmarkst#

Nachdem wir nun verstanden haben, was Benchmarking ist und warum es wichtig ist, gehen wir durch, wie du YOLO-Modelle wie YOLO11 benchmarken und ihre Effizienz bewerten kannst, um wertvolle Erkenntnisse zu gewinnen.

Für den Einstieg kannst du das Ultralytics Python package installieren, indem du den folgenden Befehl in deinem Terminal oder deiner Eingabeaufforderung ausführst: “pip install ultralytics”. Wenn bei der Installation Probleme auftreten, schau dir unseren Common Issues Guide für Tipps zur Fehlerbehebung an.

Sobald das Paket installiert ist, kannst du benchmark YOLO11 ganz einfach mit nur wenigen Zeilen Python-Code durchführen:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Wenn du den oben gezeigten Code ausführst, berechnet er, wie schnell das Modell Bilder verarbeitet, wie viele Frames es in einer Sekunde verarbeiten kann und wie präzise es Objekte erkennt.

Die Erwähnung von “coco8.yaml” im Code bezieht sich auf eine Datensatz-Konfigurationsdatei, die auf dem COCO8-Datensatz (Common Objects in Context) basiert - einer kleinen Beispielversion des vollständigen COCO-Datensatzes, die häufig für Tests und Experimente verwendet wird.

Wenn du YOLO11 für eine bestimmte Anwendung testest, wie z. B. Verkehrsüberwachung oder medizinische Bildgebung, liefert die Verwendung eines relevanten Datensatzes (z. B. ein Verkehrsdatensatz oder medizinischer Datensatz) genauere Erkenntnisse. Benchmarking mit COCO bietet eine allgemeine Vorstellung von der Leistung, aber für beste Ergebnisse kannst du einen Datensatz wählen, der deinen tatsächlichen Anwendungsfall widerspiegelt.

Link to this sectionVerständnis der YOLO11-Benchmarking-Ausgaben#

Sobald YOLO11 gebenchmarkt wurde, ist der nächste Schritt, die Ergebnisse zu interpretieren. Nach dem Ausführen des Benchmarks siehst du verschiedene Zahlen in den Ergebnissen. Diese Metriken helfen dabei zu bewerten, wie gut YOLO11 in Bezug auf Genauigkeit und Geschwindigkeit abschneidet.

Hier sind einige bemerkenswerte YOLO11-Benchmarking-Metriken, auf die du achten solltest:

• mAP50-95: Sie misst die Genauigkeit der Objekterkennung. Ein höherer Wert bedeutet, dass das Modell besser darin ist, Objekte zu erkennen.
• accuracy_top5: Sie wird häufig für Klassifizierungsaufgaben verwendet. Sie zeigt an, wie oft die korrekte Bezeichnung in den Top-fünf-Vorhersagen erscheint.
• Inferenzzeit: Die Zeit, die für die Verarbeitung eines einzelnen Bildes benötigt wird, gemessen in Millisekunden. Niedrigere Werte bedeuten eine schnellere Verarbeitung.

Abb 4. Ein Graph, der die Benchmark-Leistung von YOLO11 zeigt.

Link to this sectionWeitere Faktoren, die beim Benchmarking von YOLO11 zu berücksichtigen sind#

Die alleinige Betrachtung der Benchmark-Ergebnisse erzählt nur einen Teil der Geschichte. Um die Leistung besser zu verstehen, ist es hilfreich, verschiedene Einstellungen und Hardwareoptionen zu vergleichen. Hier sind ein paar wichtige Dinge, die du dir ansehen solltest:

• GPU vs. CPU: GPUs können Bilder viel schneller verarbeiten als CPUs. Benchmarking hilft dir zu sehen, ob eine CPU für deine Bedürfnisse schnell genug ist oder ob du von der Verwendung einer GPU profitierst.
• Präzisionseinstellungen (FP32, FP16, INT8): Diese steuern, wie das Modell mit Zahlen umgeht. Eine geringere Präzision (wie FP16 oder INT8) lässt das Modell schneller laufen und verbraucht weniger Speicher, kann aber die Genauigkeit leicht verringern.
• Export formats: Die Konvertierung des Modells in ein Format wie TensorRT kann es auf bestimmter Hardware deutlich beschleunigen. Dies ist nützlich, wenn du die Geschwindigkeit auf bestimmten Geräten optimierst.

Link to this sectionWie du YOLO11 auf verschiedener Hardware benchmarkst#

Das Ultralytics Python-Paket ermöglicht es dir, YOLO11-Modelle in verschiedene Formate zu konvertieren, die effizienter auf spezifischer Hardware laufen, was sowohl die Geschwindigkeit als auch die Speichernutzung verbessert. Jedes Exportformat ist für unterschiedliche Geräte optimiert.

Einerseits kann das ONNX format die Leistung in verschiedenen Umgebungen beschleunigen. Andererseits verbessert OpenVINO die Effizienz auf Intel-Hardware, und Formate wie CoreML oder TF SavedModel sind ideal für Apple-Geräte und mobile Anwendungen.

Schauen wir uns an, wie du YOLO11 in einem bestimmten Format benchmarken kannst. Der folgende Code benchmarkt YOLO11 im ONNX-Format, das weit verbreitet ist, um KI-Modelle sowohl auf CPUs als auch auf GPUs auszuführen.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Über die Benchmark-Ergebnisse hinaus hängt die Wahl des richtigen Formats von den Spezifikationen deines Systems und den Bereitstellungsanforderungen ab. Zum Beispiel benötigen self-driving cars eine schnelle Objekterkennung. Wenn du planst, NVIDIA GPUs zur Beschleunigung der Leistung zu verwenden, ist das TensorRT-Format die ideale Wahl, um YOLO11 auf einer NVIDIA GPU auszuführen.

Abb 5. Verwendung von YOLO11 für die Objekterkennung in selbstfahrenden Autos.

Link to this sectionWichtige Erkenntnisse#

Das Ultralytics Python-Paket macht das Benchmarking von YOLO11 einfach, indem es einfache Befehle bereitstellt, die Leistungstests für dich übernehmen. Mit nur wenigen Schritten kannst du sehen, wie sich unterschiedliche Setups auf die Geschwindigkeit und Genauigkeit der Modelle auswirken, was dir hilft, fundierte Entscheidungen zu treffen, ohne dass tiefgreifendes technisches Fachwissen erforderlich ist.

Die richtige Hardware und die richtigen Einstellungen können ebenfalls einen großen Unterschied machen. Das Anpassen von Parametern wie der Modellgröße und des Datensatzes ermöglicht es dir, YOLO11 für die beste Leistung zu optimieren, egal ob du es auf einer High-End-GPU oder lokal auf einem Edge-Gerät ausführst.

Verbinde dich mit unserer Community und erkunde modernste KI-Projekte auf unserem GitHub-Repository. Erfahre mehr über die Auswirkungen von AI in agriculture und die Rolle von computer vision in manufacturing auf unseren Lösungsseiten. Erkunde unsere Lizenzpläne und beginne jetzt deine KI-Reise!