Wie man Ultralytics YOLO-Modelle wie YOLO11 benchmarkt

Bei der wachsenden Anzahl an verfügbaren KI-Modellen ist es heutzutage essenziell, das am besten geeignete Modell für deine spezifische KI-Anwendung auszuwählen, um präzise und zuverlässige Ergebnisse zu erzielen. Jedes Modell unterscheidet sich in Geschwindigkeit, Genauigkeit und Gesamtleistung. Wie finden wir also heraus, welches Modell am besten für eine gegebene Aufgabe geeignet ist? Dies ist besonders wichtig für Echtzeitsysteme wie autonome Fahrzeuge, Sicherheitslösungen und Robotik, bei denen eine schnelle und verlässliche Entscheidungsfindung entscheidend ist.

Benchmarking hilft, diese Frage zu beantworten, indem es ein Modell unter verschiedenen Bedingungen bewertet. Es liefert Erkenntnisse darüber, wie gut das Modell auf verschiedenen Hardware-Setups und Konfigurationen funktioniert, was fundiertere Entscheidungen ermöglicht.

Zum Beispiel ist Ultralytics YOLO11 ein Computer Vision-Modell, das verschiedene Aufgaben zur visuellen Datenanalyse wie Objekterkennung und Instanzsegmentierung unterstützt. Um seine Funktionen vollständig zu verstehen, kannst du seine Leistung auf verschiedenen Setups benchen, um zu sehen, wie es mit realen Szenarien umgeht.

In diesem Artikel untersuchen wir, wie du Ultralytics YOLO-Modelle wie YOLO11 benchest, ihre Leistung über verschiedene Hardware hinweg vergleichst und siehst, wie sich verschiedene Exportformate auf ihre Geschwindigkeit und Effizienz auswirken. Lass uns anfangen!

Was ist Modell-Benchmarking?#

Wenn es darum geht, ein Vision-KI-Modell in einer realen Anwendung einzusetzen, woher weißt du, ob es schnell, präzise und zuverlässig genug sein wird? Ein Benchmarking des Modells kann Erkenntnisse liefern, um diese Frage zu beantworten. Modell-Benchmarking ist der Prozess des Testens und Vergleichens verschiedener KI-Modelle, um herauszufinden, welches am besten abschneidet.

Dazu gehört das Festlegen einer Vergleichsbasis, die Auswahl der richtigen Leistungskennzahlen (wie Genauigkeit oder Geschwindigkeit) und das Testen aller Modelle unter denselben Bedingungen. Die Ergebnisse helfen dabei, die Stärken und Schwächen jedes Modells zu identifizieren, was es einfacher macht zu entscheiden, welches am besten für deine spezifische KI-Lösung geeignet ist. Insbesondere wird häufig ein Benchmark-Datensatz verwendet, um faire Vergleiche zu ermöglichen und zu bewerten, wie gut ein Modell in verschiedenen realen Szenarien abschneidet.

Abb. 1. Warum computer vision-Modelle benchmarken? Bild vom Autor.

Ein klares Beispiel dafür, warum Benchmarking wichtig ist, sind Echtzeitanwendungen wie Überwachung oder Robotik, bei denen selbst leichte Verzögerungen die Entscheidungsfindung beeinflussen können. Benchmarking hilft zu bewerten, ob ein Modell Bilder schnell verarbeiten kann und dennoch zuverlässige Vorhersagen liefert.

Es spielt auch eine Schlüsselrolle bei der Identifizierung von Leistungsengpässen. Wenn ein Modell langsam läuft oder übermäßig viele Ressourcen verbraucht, kann Benchmarking aufdecken, ob das Problem durch Hardwarebeschränkungen, Modellkonfigurationen oder Exportformate verursacht wird. Diese Erkenntnisse sind entscheidend für die Auswahl des effektivsten Setups.

Modell-Benchmarking im Vergleich zu Modellbewertung und -testung#

Modell-Benchmarking, -Evaluierung und -Testen sind beliebte KI-Begriffe, die zusammen verwendet werden. Obwohl sie ähnlich sind, sind sie nicht dasselbe und haben unterschiedliche Funktionen. Das Modelltesten prüft, wie gut ein einzelnes Modell abschneidet, indem es auf einem Testdatensatz ausgeführt und Faktoren wie Genauigkeit und Geschwindigkeit gemessen werden. Inzwischen geht die Modellevaluierung einen Schritt weiter, indem sie die Ergebnisse analysiert, um die Stärken und Schwächen des Modells sowie dessen Funktionsweise in realen Situationen zu verstehen. Beide konzentrieren sich jeweils nur auf ein einzelnes Modell.

Modell-Benchmarking hingegen vergleicht mehrere Modelle direkt miteinander unter Verwendung derselben Tests und Datensätze. Es hilft dabei herauszufinden, welches Modell für eine spezifische Aufgabe am besten funktioniert, indem es Unterschiede in Genauigkeit, Geschwindigkeit und Effizienz zwischen ihnen aufzeigt. Während sich Testen und Bewerten auf ein einzelnes Modell konzentrieren, hilft Benchmarking dabei, das richtige (oder beste) durch einen fairen Vergleich verschiedener Optionen auszuwählen.

Abb. 2. Wie sich Modell-Benchmarking von Bewertung und Testung unterscheidet. Bild vom Autor.

Ein Überblick über Ultralytics YOLO11#

Ultralytics YOLO11 ist ein zuverlässiges Vision-KI-Modell, das entwickelt wurde, um verschiedene Computer-Vision-Aufgaben präzise auszuführen. Es verbessert frühere YOLO-Modellversionen und ist vollgepackt mit Funktionen, die bei der Lösung realer Probleme helfen können. Es kann beispielsweise verwendet werden, um Objekte zu erkennen, Bilder zu klassifizieren, Regionen zu segmentieren, Bewegungen zu verfolgen und vieles mehr. Es kann auch in Anwendungen in vielen Branchen eingesetzt werden, von der Sicherheit bis hin zu Automatisierung und Analytik.

Fig 3. Ein Beispiel für die Verwendung von Ultralytics YOLO11 zur Segmentierung von Personen in einem Bild.

Einer der Hauptvorteile von Ultralytics YOLO11 ist die einfache Handhabung. Mit nur wenigen Zeilen Code kann jeder es in seine KI-Projekte integrieren, ohne sich mit komplizierten Setups oder fortgeschrittenem technischem Fachwissen auseinandersetzen zu müssen.

Es funktioniert außerdem reibungslos auf verschiedener Hardware und läuft effizient auf CPUs (Central Processing Units), GPUs (Graphics Processing Units) und anderen spezialisierten KI-Beschleunigern. Egal, ob es auf Edge-Geräten oder Cloud-Servern bereitgestellt wird, es liefert eine starke Leistung.

Ultralytics YOLO11 ist in verschiedenen Modellgrößen verfügbar, die jeweils für unterschiedliche Aufgaben optimiert sind. Benchmarking hilft dir herauszufinden, welche Version am besten zu deinen spezifischen Anforderungen passt. Ein zentrales Ergebnis, das ein Benchmarking aufzeigen kann, ist beispielsweise, dass kleinere Modelle wie Nano oder Small tendenziell schneller laufen, dafür aber möglicherweise etwas an Genauigkeit einbüßen.

So benchmarkst du YOLO-Modelle wie Ultralytics YOLO11#

Nun, da wir verstanden haben, was Benchmarking ist und wie wichtig es ist, gehen wir Schritt für Schritt durch, wie du YOLO-Modelle wie Ultralytics YOLO11 benchmarken und deren Effizienz bewerten kannst, um wertvolle Erkenntnisse zu gewinnen.

Um zu beginnen, kannst du das Ultralytics Python-Paket installieren, indem du den folgenden Befehl in deinem Terminal oder deiner Eingabeaufforderung ausführst: „pip install ultralytics“. Wenn während der Installation Probleme auftreten, schaue in unserem Leitfaden zu häufigen Problemen nach Tipps zur Fehlerbehebung.

Sobald das Paket installiert ist, kannst du benchmark Ultralytics YOLO11 ganz einfach mit nur wenigen Zeilen Python-Code durchführen:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Wenn du den oben gezeigten Code ausführst, berechnet er, wie schnell das Modell Bilder verarbeitet, wie viele Frames es in einer Sekunde verarbeiten kann und wie präzise es Objekte erkennt.

Die Erwähnung von „coco8.yaml“ im Code bezieht sich auf eine Datensatz-Konfigurationsdatei basierend auf dem COCO8 (Common Objects in Context)-Datensatz – einer kleinen Beispielversion des vollständigen COCO-Datensatzes, die häufig für Tests und Experimente verwendet wird.

Wenn du Ultralytics YOLO11 für eine spezifische Anwendung wie Verkehrsüberwachung oder medizinische Bildgebung testest, liefert die Verwendung eines relevanten Datensatzes (z. B. eines Verkehrs- oder medizinischen Datensatzes) genauere Einblicke. Ein Benchmarking mit COCO vermittelt einen allgemeinen Eindruck der Leistung, aber für optimale Ergebnisse kannst du einen Datensatz wählen, der deinen tatsächlichen Anwendungsfall widerspiegelt.

Benchmarking-Ergebnisse von Ultralytics YOLO11 verstehen#

Sobald Ultralytics YOLO11 gebenchmarkt wurde, besteht der nächste Schritt darin, die Ergebnisse zu interpretieren. Nach Ausführung des Benchmarks siehst du verschiedene Zahlen in den Ergebnissen. Diese Metriken helfen dabei, zu bewerten, wie gut YOLO11 in Bezug auf Genauigkeit und Geschwindigkeit abschneidet.

Hier sind einige wichtige Ultralytics YOLO11-Benchmarking-Metriken, auf die du achten solltest:

• mAP50-95: Sie misst die Genauigkeit der Objekterkennung. Ein höherer Wert bedeutet, dass das Modell besser darin ist, Objekte zu erkennen.
• accuracy_top5: Sie wird häufig für Klassifizierungsaufgaben verwendet. Sie zeigt an, wie oft die korrekte Bezeichnung in den Top-fünf-Vorhersagen erscheint.
• Inferenzzeit: Die Zeit, die für die Verarbeitung eines einzelnen Bildes benötigt wird, gemessen in Millisekunden. Niedrigere Werte bedeuten eine schnellere Verarbeitung.

Abb. 4. Ein Diagramm, das die Benchmark-Leistung von YOLO11 zeigt.

Weitere Faktoren, die du beim Benchmarking von Ultralytics YOLO11 berücksichtigen solltest#

Die alleinige Betrachtung der Benchmark-Ergebnisse erzählt nur einen Teil der Geschichte. Um die Leistung besser zu verstehen, ist es hilfreich, verschiedene Einstellungen und Hardwareoptionen zu vergleichen. Hier sind ein paar wichtige Dinge, die du dir ansehen solltest:

• GPU vs. CPU: GPUs können Bilder viel schneller verarbeiten als CPUs. Benchmarking hilft dir zu sehen, ob eine CPU für deine Bedürfnisse schnell genug ist oder ob du von der Verwendung einer GPU profitierst.
• Präzisionseinstellungen (FP32, FP16, INT8): Diese steuern, wie das Modell mit Zahlen umgeht. Eine geringere Präzision (wie FP16 oder INT8) lässt das Modell schneller laufen und verbraucht weniger Speicher, kann aber die Genauigkeit leicht verringern.
• Exportformate: Das Konvertieren des Modells in ein Format wie TensorRT kann dazu führen, dass es auf bestimmter Hardware viel schneller läuft. Dies ist nützlich, wenn du auf Geschwindigkeit auf bestimmten Geräten optimierst.

Wie du Ultralytics YOLO11 auf unterschiedlicher Hardware benchmarkst#

Das Ultralytics Python-Paket ermöglicht es dir, YOLO11-Modelle in verschiedene Formate zu konvertieren, die effizienter auf spezifischer Hardware laufen, was sowohl die Geschwindigkeit als auch die Speichernutzung verbessert. Jedes Exportformat ist für unterschiedliche Geräte optimiert.

Einerseits kann das ONNX-Format die Leistung in verschiedenen Umgebungen beschleunigen. Andererseits verbessert OpenVINO die Effizienz auf Intel-Hardware, und Formate wie CoreML oder TF SavedModel sind ideal für Apple-Geräte und mobile Anwendungen.

Schauen wir uns an, wie du Ultralytics YOLO11 in einem bestimmten Format benchen kannst. Der folgende Code benchmarkt YOLO11 im ONNX-Format, das häufig zum Ausführen von KI-Modellen sowohl auf CPUs als auch auf GPUs verwendet wird.

from ultralytics.utils.benchmarks import benchmark

# Benchmark a specific export format (e.g., ONNX)
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Über die Benchmarking-Ergebnisse hinaus hängt die Wahl des richtigen Formats von den Spezifikationen deines Systems und deinen Bereitstellungsanforderungen ab. Zum Beispiel benötigen self-driving cars eine schnelle Objekterkennung. Wenn du NVIDIA-GPUs zur Leistungsbeschleunigung einsetzen möchtest, ist das TensorRT-Format die ideale Wahl, um Ultralytics YOLO11 auf einer NVIDIA GPU auszuführen.

Abb. 5. Verwendung von YOLO11 zur Objekterkennung in selbstfahrenden Autos.

Wichtige Erkenntnisse#

Das Ultralytics Python-Paket macht das Benchmarking von YOLO11 einfach, indem es einfache Befehle bereitstellt, die Leistungstests für dich übernehmen. Mit nur wenigen Schritten kannst du sehen, wie sich unterschiedliche Setups auf die Geschwindigkeit und Genauigkeit der Modelle auswirken, was dir hilft, fundierte Entscheidungen zu treffen, ohne dass tiefgreifendes technisches Fachwissen erforderlich ist.

Auch die richtige Hardware und die passenden Einstellungen können einen riesigen Unterschied machen. Durch das Anpassen von Parametern wie Modellgröße und Datensatz kannst du Ultralytics YOLO11 für die beste Leistung feinabstimmen, egal ob du es auf einer High-End-GPU oder lokal auf einem Edge Device ausführst.

Vernetze dich mit unserer Community und entdecke bahnbrechende KI-Projekte in unserem GitHub-Repository. Erfahre mehr über die Auswirkungen von KI in der Landwirtschaft und die Rolle von Computer Vision in der Fertigung auf unseren Lösungsseiten. Entdecke unsere Lizenzierungspläne und starte jetzt deine KI-Reise!