So benchmarkst du Ultralytics YOLO-Modelle wie YOLO11

Angesichts der wachsenden Zahl an verfügbaren AI-Modellen ist die Auswahl des am besten geeigneten Modells für deine spezifische AI-Anwendung entscheidend, um genaue und zuverlässige Ergebnisse zu erzielen. Jedes Modell unterscheidet sich in Geschwindigkeit, Genauigkeit und Gesamtleistung. Wie lässt sich also bestimmen, welches Modell für eine bestimmte Aufgabe am besten geeignet ist? Das ist besonders für Echtzeitsysteme wie autonome Fahrzeuge, Sicherheitslösungen und Robotik wichtig, bei denen schnelle und zuverlässige Entscheidungen entscheidend sind.

Benchmarking hilft bei der Beantwortung dieser Frage, indem ein Modell unter verschiedenen Bedingungen bewertet wird. Es liefert Erkenntnisse darüber, wie gut das Modell auf unterschiedlichen Hardwarekonfigurationen und mit verschiedenen Einstellungen funktioniert, und ermöglicht dadurch fundiertere Entscheidungen.

Ultralytics YOLO11 ist beispielsweise ein Computer-Vision-Modell, das verschiedene Aufgaben der visuellen Datenanalyse wie Objekterkennung und Instanzsegmentierung unterstützt. Um seine Fähigkeiten vollständig zu verstehen, kannst du seine Leistung auf unterschiedlichen Konfigurationen benchmarken und so sehen, wie es mit realen Szenarien umgeht.

In diesem Artikel zeigen wir dir, wie du Ultralytics YOLO-Modelle wie YOLO11 benchmarkst, ihre Leistung auf unterschiedlicher Hardware vergleichst und siehst, wie sich verschiedene Exportformate auf Geschwindigkeit und Effizienz auswirken. Legen wir los!

Was ist Modell-Benchmarking?#

Wenn du ein Vision-AI-Modell in einer realen Anwendung einsetzt, wie kannst du feststellen, ob es schnell, genau und zuverlässig genug ist? Das Benchmarking des Modells kann dir dabei wichtige Erkenntnisse liefern. Modell-Benchmarking bezeichnet den Prozess, bei dem verschiedene AI-Modelle getestet und verglichen werden, um herauszufinden, welches am besten funktioniert.

Dazu wird eine Vergleichsbasis festgelegt, es werden geeignete Leistungskennzahlen wie Genauigkeit oder Geschwindigkeit ausgewählt und alle Modelle unter denselben Bedingungen getestet. Die Ergebnisse helfen dabei, die Stärken und Schwächen jedes Modells zu erkennen. So lässt sich leichter entscheiden, welches Modell für deine spezifische AI-Lösung am besten geeignet ist. Insbesondere wird häufig ein Benchmark-Datensatz verwendet, um faire Vergleiche zu ermöglichen und zu beurteilen, wie gut ein Modell in verschiedenen realen Szenarien funktioniert.

Abb. 1. Warum Computer-Vision-Modelle benchmarken? Bild: Autor.

Ein anschauliches Beispiel dafür, warum Benchmarking wichtig ist, sind Echtzeitanwendungen wie Überwachung oder Robotik, bei denen selbst geringfügige Verzögerungen die Entscheidungsfindung beeinflussen können. Benchmarking hilft zu beurteilen, ob ein Modell Bilder schnell verarbeiten und gleichzeitig zuverlässige Vorhersagen liefern kann.

Es spielt außerdem eine wichtige Rolle bei der Erkennung von Leistungsengpässen. Wenn ein Modell langsam läuft oder übermäßig viele Ressourcen benötigt, kann Benchmarking zeigen, ob die Ursache in Hardwarebeschränkungen, Modelleinstellungen oder Exportformaten liegt. Diese Erkenntnisse sind entscheidend für die Auswahl der effektivsten Konfiguration.

Modell-Benchmarking im Vergleich zu Modellbewertung und -tests#

Modell-Benchmarking, -bewertung und -tests sind verbreitete AI-Begriffe, die häufig gemeinsam verwendet werden. Obwohl sie ähnlich sind, bezeichnen sie nicht dasselbe und haben unterschiedliche Funktionen. Beim Testen eines Modells wird überprüft, wie gut ein einzelnes Modell funktioniert, indem es mit einem Testdatensatz ausgeführt und anhand von Faktoren wie Genauigkeit und Geschwindigkeit gemessen wird. Die Modellbewertung geht einen Schritt weiter und analysiert die Ergebnisse, um die Stärken und Schwächen des Modells sowie seine Leistungsfähigkeit in realen Situationen zu verstehen. Beide Verfahren konzentrieren sich jeweils auf ein einzelnes Modell.

Beim Modell-Benchmarking werden dagegen mehrere Modelle anhand derselben Tests und Datensätze direkt miteinander verglichen. Dadurch lässt sich ermitteln, welches Modell für eine bestimmte Aufgabe am besten geeignet ist, indem Unterschiede bei Genauigkeit, Geschwindigkeit und Effizienz sichtbar gemacht werden. Während sich Tests und Bewertung auf ein einzelnes Modell konzentrieren, hilft Benchmarking dabei, durch einen fairen Vergleich verschiedener Optionen das richtige oder beste Modell auszuwählen.

Abb. 2. Wie sich Modell-Benchmarking von Bewertung und Tests unterscheidet. Bild: Autor.

Ein Überblick über Ultralytics YOLO11#

Ultralytics YOLO11 ist ein zuverlässiges Vision-AI-Modell, das für die genaue Ausführung verschiedener Computer-Vision-Aufgaben entwickelt wurde. Es baut auf früheren YOLO-Modellversionen auf und bietet zahlreiche Funktionen, die bei der Lösung realer Probleme helfen können. So kann es beispielsweise Objekte erkennen, Bilder klassifizieren, Bereiche segmentieren, Bewegungen verfolgen und vieles mehr. Außerdem lässt es sich in Anwendungen verschiedenster Branchen einsetzen – von Sicherheit über Automatisierung bis hin zu Analysen.

Abb. 3. Beispiel für die Segmentierung von Personen in einem Bild mit Ultralytics YOLO11.

Einer der wichtigsten Vorteile von Ultralytics YOLO11 ist die einfache Nutzung. Mit nur wenigen Codezeilen kann es jeder in AI-Projekte integrieren, ohne sich mit komplizierten Konfigurationen oder fortgeschrittenem technischem Fachwissen befassen zu müssen.

Es funktioniert außerdem problemlos mit unterschiedlicher Hardware und läuft effizient auf CPUs (zentralen Verarbeitungseinheiten), GPUs (Grafikprozessoren) und anderen spezialisierten AI-Beschleunigern. Unabhängig davon, ob es auf Edge-Geräten oder Cloud-Servern eingesetzt wird, liefert es eine hohe Leistung.

Ultralytics YOLO11 ist in verschiedenen Modellgrößen verfügbar, die jeweils für unterschiedliche Aufgaben optimiert sind. Benchmarking hilft dir dabei, die Version zu bestimmen, die am besten zu deinen Anforderungen passt. Eine wichtige Erkenntnis kann beispielsweise sein, dass kleinere Modelle wie Nano- oder Small-Modelle tendenziell schneller laufen, dafür aber möglicherweise etwas Genauigkeit einbüßen.

So benchmarkst du YOLO-Modelle wie Ultralytics YOLO11#

Nachdem wir nun verstanden haben, was Benchmarking ist und warum es wichtig ist, zeigen wir dir, wie du YOLO-Modelle wie Ultralytics YOLO11 benchmarkst und ihre Effizienz bewertest, um wertvolle Erkenntnisse zu gewinnen.

Zunächst kannst du das Ultralytics Python-Paket installieren, indem du den folgenden Befehl in deinem Terminal oder in der Eingabeaufforderung ausführst: „pip install ultralytics“. Falls bei der Installation Probleme auftreten, findest du in unserem Leitfaden zu häufigen Problemen Tipps zur Fehlerbehebung.

Sobald das Paket installiert ist, kannst du Ultralytics YOLO11 benchmarken, indem du nur wenige Python-Codezeilen ausführst:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Wenn du den oben gezeigten Code ausführst, wird berechnet, wie schnell das Modell Bilder verarbeitet, wie viele Frames es pro Sekunde verarbeiten kann und wie genau es Objekte erkennt.

Die Erwähnung von „coco8.yaml“ im Code verweist auf eine Datensatz-Konfigurationsdatei, die auf dem COCO8-Datensatz (Objekte in Kontext) basiert – einer kleinen Beispielversion des vollständigen COCO-Datensatzes, die häufig zum Testen und Experimentieren verwendet wird.

Wenn du Ultralytics YOLO11 für eine bestimmte Anwendung testest, etwa zur Verkehrsüberwachung oder für medizinische Bildgebung, erhältst du durch die Verwendung eines passenden Datensatzes, beispielsweise eines Verkehrs- oder medizinischen Datensatzes, genauere Erkenntnisse. Benchmarking mit COCO vermittelt eine allgemeine Vorstellung von der Leistung. Für optimale Ergebnisse kannst du jedoch einen Datensatz wählen, der deinen tatsächlichen Anwendungsfall widerspiegelt.

Die Benchmarking-Ergebnisse von Ultralytics YOLO11 verstehen#

Nachdem Ultralytics YOLO11 benchmarked wurde, besteht der nächste Schritt darin, die Ergebnisse zu interpretieren. Nach der Ausführung des Benchmarks werden in den Ergebnissen verschiedene Zahlen angezeigt. Diese Kennzahlen helfen dir dabei, die Leistung von YOLO11 im Hinblick auf Genauigkeit und Geschwindigkeit zu bewerten.

Hier sind einige wichtige Benchmarking-Kennzahlen von Ultralytics YOLO11, auf die du achten solltest:

• mAP50-95: Diese Kennzahl misst die Genauigkeit der Objekterkennung. Ein höherer Wert bedeutet, dass das Modell Objekte besser erkennt.
• accuracy_top5: Diese Kennzahl wird häufig für Klassifizierungsaufgaben verwendet. Sie zeigt, wie oft das korrekte Label unter den fünf besten Vorhersagen erscheint.
• Inferenzzeit: Die Zeit, die zum Verarbeiten eines einzelnen Bildes benötigt wird, gemessen in Millisekunden. Niedrigere Werte bedeuten eine schnellere Verarbeitung.

Abb. 4. Eine Grafik zur Benchmark-Leistung von YOLO11.

Weitere Faktoren beim Benchmarking von Ultralytics YOLO11#

Die alleinige Betrachtung der Benchmark-Ergebnisse zeigt nur einen Teil des Gesamtbildes. Um die Leistung besser zu verstehen, ist es hilfreich, verschiedene Einstellungen und Hardwareoptionen zu vergleichen. Hier sind einige wichtige Punkte, auf die du achten solltest:

• GPU vs. CPU: GPUs können Bilder deutlich schneller verarbeiten als CPUs. Benchmarking hilft dir zu erkennen, ob eine CPU für deine Anforderungen schnell genug ist oder ob du von einer GPU profitieren würdest.
• Genauigkeitseinstellungen (FP32, FP16, INT8): Sie steuern, wie das Modell Zahlen verarbeitet. Eine geringere Genauigkeit wie FP16 oder INT8 lässt das Modell schneller laufen und benötigt weniger Speicher, kann die Genauigkeit jedoch geringfügig verringern.
• Exportformate: Die Konvertierung des Modells in ein Format wie TensorRT kann dazu führen, dass es auf bestimmter Hardware deutlich schneller läuft. Das ist nützlich, wenn du die Geschwindigkeit auf bestimmten Geräten optimieren möchtest.

So benchmarkst du Ultralytics YOLO11 auf unterschiedlicher Hardware#

Mit dem Ultralytics Python-Paket kannst du YOLO11-Modelle in verschiedene Formate konvertieren, die auf bestimmter Hardware effizienter laufen und dadurch Geschwindigkeit sowie Speicherbedarf verbessern. Jedes Exportformat ist für unterschiedliche Geräte optimiert.

Einerseits kann das ONNX-Format die Leistung in verschiedenen Umgebungen steigern. Andererseits verbessert OpenVINO die Effizienz auf Intel-Hardware, während Formate wie CoreML oder TF SavedModel ideal für Apple-Geräte und mobile Anwendungen sind.

Sehen wir uns an, wie du Ultralytics YOLO11 in einem bestimmten Format benchmarken kannst. Der folgende Code benchmarkt YOLO11 im ONNX-Format, das häufig für die Ausführung von AI-Modellen auf CPUs und GPUs verwendet wird.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Über die Benchmark-Ergebnisse hinaus hängt die Wahl des richtigen Formats von den Spezifikationen deines Systems und deinen Anforderungen an die Bereitstellung ab. Selbstfahrende Autos benötigen beispielsweise eine schnelle Objekterkennung. Wenn du NVIDIA-GPUs zur Beschleunigung der Leistung einsetzen möchtest, ist das TensorRT-Format die ideale Wahl, um Ultralytics YOLO11 auf einer NVIDIA-GPU auszuführen.

Abb. 5. Verwendung von YOLO11 zur Objekterkennung in selbstfahrenden Autos.

Wichtige Erkenntnisse#

Das Ultralytics Python-Paket macht das Benchmarking von YOLO11 einfach, da es unkomplizierte Befehle bereitstellt, die Leistungstests für dich durchführen können. Mit nur wenigen Schritten kannst du sehen, wie sich verschiedene Konfigurationen auf die Geschwindigkeit und Genauigkeit der Modelle auswirken. So kannst du fundierte Entscheidungen treffen, ohne tiefgreifendes technisches Fachwissen zu benötigen.

Die richtige Hardware und die passenden Einstellungen können ebenfalls einen großen Unterschied machen. Durch die Anpassung von Parametern wie Modellgröße und Datensatz kannst du Ultralytics YOLO11 für die bestmögliche Leistung optimieren – unabhängig davon, ob du es auf einer leistungsstarken GPU oder lokal auf einem Edge-Gerät ausführst.

Vernetze dich mit unserer Community und entdecke hochmoderne AI-Projekte in unserem GitHub-Repository. Erfahre auf unseren Lösungsseiten mehr über die Auswirkungen von AI in der Landwirtschaft und die Rolle von Computer Vision in der Fertigung. Sieh dir unsere Lizenzpläne an und starte jetzt deine AI-Reise!