So benchmarken Sie Ultralytics YOLO-Modelle wie YOLO11

Angesichts der wachsenden Anzahl von KI-Modellen, die heute verfügbar sind, ist die Auswahl des am besten geeigneten Modells für Ihre spezifische KI-Anwendung entscheidend, um genaue und zuverlässige Ergebnisse zu erzielen. Jedes Modell variiert in Geschwindigkeit, Genauigkeit und Gesamtleistung. Wie können wir also feststellen, welches Modell für eine bestimmte Aufgabe am besten geeignet ist? Dies ist besonders wichtig für Echtzeitsysteme wie autonome Fahrzeuge, Sicherheitslösungen und Robotik, wo schnelle und zuverlässige Entscheidungsfindung von entscheidender Bedeutung ist.

Benchmarking hilft, diese Frage zu beantworten, indem es ein Modell unter verschiedenen Bedingungen bewertet. Es liefert Einblicke, wie gut das Modell über verschiedene Hardware-Setups und Konfigurationen hinweg funktioniert, was eine fundiertere Entscheidungsfindung ermöglicht.

Beispielsweise ist Ultralytics YOLO11 ein Computer Vision-Modell, das verschiedene Aufgaben der visuellen Datenanalyse wie Objekterkennung und Instanzsegmentierung unterstützt. Um seine Fähigkeiten vollständig zu verstehen, können Sie seine Leistung auf verschiedenen Setups testen, um zu sehen, wie es mit realen Szenarien umgeht.

In diesem Artikel werden wir untersuchen, wie man Ultralytics YOLO-Modelle wie YOLO11 benchmarken, ihre Leistung auf verschiedenen Hardware vergleichen und sehen kann, wie sich verschiedene Exportformate auf ihre Geschwindigkeit und Effizienz auswirken. Los geht's!

Was ist Modell-Benchmarking?

Wenn es darum geht, ein Vision-KI-Modell in einer realen Anwendung einzusetzen, wie können Sie feststellen, ob es schnell, genau und zuverlässig genug ist? Das Benchmarking des Modells kann Aufschluss darüber geben. Modell-Benchmarking ist der Prozess des Testens und Vergleichens verschiedener KI-Modelle, um herauszufinden, welches am besten abschneidet. 

Es beinhaltet das Festlegen einer Vergleichsbasis, die Auswahl der richtigen Leistungskennzahlen (wie Genauigkeit oder Geschwindigkeit) und das Testen aller Modelle unter den gleichen Bedingungen. Die Ergebnisse helfen, die Stärken und Schwächen jedes Modells zu identifizieren, was die Entscheidung erleichtert, welches Modell am besten für Ihre spezifische KI-Lösung geeignet ist. Insbesondere wird häufig ein Benchmark-Datensatz verwendet, um faire Vergleiche zu ermöglichen und zu beurteilen, wie gut ein Modell in verschiedenen realen Szenarien funktioniert.

‍

Ein deutliches Beispiel dafür, warum Benchmarking so wichtig ist, sind Echtzeitanwendungen wie Überwachung oder Robotik, bei denen selbst geringfügige Verzögerungen die Entscheidungsfindung beeinträchtigen können. Benchmarking hilft zu beurteilen, ob ein Modell Bilder schnell verarbeiten und gleichzeitig zuverlässige Vorhersagen liefern kann. 

Es spielt auch eine Schlüsselrolle bei der Identifizierung von Performance-Engpässen. Wenn ein Modell langsam läuft oder übermäßig viele Ressourcen verbraucht, kann das Benchmarking aufzeigen, ob das Problem auf Hardware-Beschränkungen, Modellkonfigurationen oder Exportformate zurückzuführen ist. Diese Erkenntnisse sind entscheidend für die Auswahl des effektivsten Setups.

Modell-Benchmarking im Vergleich zu Modellevaluierung und -tests

Modell-Benchmarking, -Evaluierung und -Tests sind gängige KI-Begriffe, die zusammen verwendet werden. Obwohl sie ähnlich sind, sind sie nicht identisch und haben unterschiedliche Funktionen. Beim Modelltest wird überprüft, wie gut ein einzelnes Modell funktioniert, indem es auf einem Testdatensatz ausgeführt und Faktoren wie Genauigkeit und Geschwindigkeit gemessen werden. Die Modellevaluierung geht noch einen Schritt weiter, indem sie die Ergebnisse analysiert, um die Stärken und Schwächen des Modells zu verstehen und zu beurteilen, wie gut es in realen Situationen funktioniert. Beide konzentrieren sich jeweils auf nur ein Modell.

Beim Modell-Benchmarking werden jedoch mehrere Modelle anhand derselben Tests und Datensätze Seite an Seite verglichen. Es hilft herauszufinden, welches Modell für eine bestimmte Aufgabe am besten geeignet ist, indem es Unterschiede in Genauigkeit, Geschwindigkeit und Effizienz zwischen ihnen hervorhebt. Während sich Tests und Evaluierung auf ein einzelnes Modell konzentrieren, hilft Benchmarking bei der Auswahl des richtigen (oder des besten) Modells, indem es verschiedene Optionen fair vergleicht.

‍

Ein Überblick über Ultralytics YOLO11

Ultralytics YOLO11 ist ein zuverlässiges Vision-KI-Modell, das für die präzise Ausführung verschiedener Computer-Vision-Aufgaben entwickelt wurde. Es verbessert frühere YOLO-Modellversionen und ist vollgepackt mit Funktionen, die zur Lösung realer Probleme beitragen können. Es kann beispielsweise zur Erkennung von Objekten, zur Klassifizierung von Bildern, zur Segmentierung von Regionen, zur Verfolgung von Bewegungen und mehr verwendet werden. Es kann auch in Anwendungen in vielen Branchen eingesetzt werden, von Sicherheit über Automatisierung bis hin zu Analytik.

‍

Einer der Hauptvorteile von Ultralytics YOLO11 ist die einfache Bedienung. Mit nur wenigen Zeilen Code kann jeder es in seine KI-Projekte integrieren, ohne sich mit komplizierten Setups oder fortgeschrittenem technischem Fachwissen auseinandersetzen zu müssen. 

Es funktioniert auch reibungslos auf verschiedenen Hardware-Komponenten und läuft effizient auf CPUs (Central Processing Units), GPUs (Graphics Processing Units) und anderen spezialisierten KI-Beschleunigern. Ob auf Edge-Geräten oder Cloud-Servern eingesetzt, es liefert eine starke Leistung. 

YOLO11 ist in verschiedenen Modellgrößen erhältlich, die jeweils für unterschiedliche Aufgaben optimiert sind. Benchmarking hilft zu bestimmen, welche Version am besten zu Ihren spezifischen Bedürfnissen passt. Eine wichtige Erkenntnis, die Benchmarking liefern kann, ist beispielsweise, dass kleinere Modelle, wie Nano oder Small, tendenziell schneller laufen, aber möglicherweise Abstriche bei der Genauigkeit machen.

Wie man YOLO Modelle wie YOLO11 benchmarkt

Nachdem wir nun verstanden haben, was Benchmarking ist und welche Bedeutung es hat, wollen wir durchgehen, wie Sie YOLO-Modelle wie YOLO11 benchmarken und ihre Effizienz bewerten können, um wertvolle Erkenntnisse zu gewinnen.

Um zu beginnen, können Sie das Ultralytics Python-Paket installieren, indem Sie den folgenden Befehl in Ihrem Terminal oder Ihrer Eingabeaufforderung ausführen: “pip install ultralytics”. Wenn Sie während der Installation auf Probleme stoßen, lesen Sie unseren Leitfaden zu häufigen Problemen für Tipps zur Fehlerbehebung.

Sobald das Paket installiert ist, können Sie YOLO11 einfach benchmarken mit nur wenigen Zeilen Python-Code:

from ultralytics.utils.benchmarks import benchmark

# Benchmark on GPU
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, half=False, device=0)

Wenn Sie den oben gezeigten Code ausführen, berechnet er, wie schnell das Modell Bilder verarbeitet, wie viele Frames es in einer Sekunde verarbeiten kann und wie genau es Objekte erkennt. 

Die Erwähnung von “coco8.yaml” im Code bezieht sich auf eine Dataset-Konfigurationsdatei, die auf dem COCO8-Dataset (Common Objects in Context) basiert - einer kleinen Beispielversion des vollständigen COCO-Datasets, die häufig für Tests und Experimente verwendet wird.

Wenn Sie YOLO11 für eine bestimmte Anwendung testen, z. B. für die Verkehrsüberwachung oder die medizinische Bildgebung, liefert die Verwendung eines relevanten Datensatzes (z. B. eines Verkehrsdatensatzes oder eines medizinischen Datensatzes) genauere Erkenntnisse. Das Benchmarking mit COCO liefert eine allgemeine Vorstellung von der Leistung, aber für beste Ergebnisse können Sie einen Datensatz wählen, der Ihren tatsächlichen Anwendungsfall widerspiegelt.

YOLO11 Benchmarking-Ausgaben verstehen

Sobald YOLO11 gebenchmarkt wurde, besteht der nächste Schritt darin, die Ergebnisse zu interpretieren. Nach dem Ausführen des Benchmarks sehen Sie verschiedene Zahlen in den Ergebnissen. Diese Metriken helfen bei der Bewertung, wie gut YOLO11 in Bezug auf Genauigkeit und Geschwindigkeit abschneidet. 

Hier sind einige bemerkenswerte YOLO11-Benchmarking-Metriken, auf die Sie achten sollten:

• mAP50-95: Misst die Genauigkeit der Objekterkennung. Ein höherer Wert bedeutet, dass das Modell Objekte besser erkennt.
  ‍
• accuracy_top5: Es wird häufig für Klassifizierungsaufgaben verwendet. Es zeigt, wie oft die richtige Bezeichnung in den Top-Fünf-Vorhersagen erscheint.
  ‍
• Inferenzzeit: Die Zeit, die für die Verarbeitung eines einzelnen Bildes benötigt wird, gemessen in Millisekunden. Niedrigere Werte bedeuten schnellere Verarbeitung.

‍

Weitere Faktoren, die beim Benchmarking von YOLO11 zu berücksichtigen sind 

Ein Blick auf die Benchmark-Ergebnisse allein erzählt nur einen Teil der Geschichte. Um ein besseres Verständnis der Leistung zu erhalten, ist es hilfreich, verschiedene Einstellungen und Hardwareoptionen zu vergleichen. Hier sind ein paar wichtige Dinge, auf die Sie achten sollten:

• GPU vs. CPU: GPUs können Bilder viel schneller verarbeiten als CPUs. Benchmarking hilft Ihnen zu erkennen, ob eine CPU schnell genug für Ihre Anforderungen ist oder ob Sie von der Verwendung einer GPU profitieren.
  ‍
• Präzisionseinstellungen (FP32, FP16, INT8): Diese steuern, wie das Modell mit Zahlen umgeht. Eine geringere Präzision (wie FP16 oder INT8) führt dazu, dass das Modell schneller läuft und weniger Speicher benötigt, aber die Genauigkeit kann leicht reduziert werden.
  ‍
• Exportformate: Die Konvertierung des Modells in ein Format wie TensorRT kann die Ausführung auf bestimmter Hardware erheblich beschleunigen. Dies ist nützlich, wenn Sie die Geschwindigkeit auf bestimmten Geräten optimieren.

Wie man YOLO11 auf unterschiedlicher Hardware benchmarkt

Mit dem Ultralytics Python-Paket können Sie YOLO11-Modelle in verschiedene Formate konvertieren, die auf bestimmter Hardware effizienter laufen, wodurch sowohl die Geschwindigkeit als auch die Speichernutzung verbessert werden. Jedes Exportformat ist für verschiedene Geräte optimiert. 

Einerseits kann das ONNX-Format die Performance in verschiedenen Umgebungen beschleunigen. Andererseits verbessert OpenVINO die Effizienz auf Intel-Hardware, und Formate wie CoreML oder TF SavedModel sind ideal für Apple-Geräte und mobile Anwendungen. 

Schauen wir uns an, wie Sie YOLO11 in einem bestimmten Format benchmarken können. Der folgende Code benchmarkt YOLO11 im ONNX-Format, das häufig für die Ausführung von KI-Modellen auf CPUs und GPUs verwendet wird.

from ultralytics.utils.benchmarks import benchmark  

# Benchmark a specific export format (e.g., ONNX)  
benchmark(model="yolo11n.pt", data="coco8.yaml", imgsz=640, format="onnx")

Abgesehen von den Benchmarking-Ergebnissen hängt die Wahl des richtigen Formats von den Spezifikationen Ihres Systems und den Einsatzanforderungen ab. Zum Beispiel benötigen selbstfahrende Autos eine schnelle Objekterkennung. Wenn Sie planen, NVIDIA-GPUs zur Beschleunigung der Leistung zu verwenden, ist das TensorRT-Format die ideale Wahl, um YOLO11 auf einer NVIDIA-GPU auszuführen.

‍

Wesentliche Erkenntnisse

Das Ultralytics Python-Paket vereinfacht das Benchmarking von YOLO11 durch einfache Befehle, die Leistungstests für Sie durchführen können. Mit nur wenigen Schritten können Sie sehen, wie sich verschiedene Setups auf die Geschwindigkeit und Genauigkeit von Modellen auswirken, sodass Sie fundierte Entscheidungen treffen können, ohne tiefgreifende technische Kenntnisse zu benötigen.

Die richtige Hardware und die richtigen Einstellungen können ebenfalls einen großen Unterschied machen. Durch die Anpassung von Parametern wie der Modellgröße und dem Datensatz können Sie YOLO11 für die beste Leistung optimieren, egal ob Sie es auf einer High-End-GPU oder lokal auf einem Edge-Gerät ausführen.

Vernetzen Sie sich mit unserer Community und entdecken Sie innovative KI-Projekte auf unserem GitHub-Repository. Erfahren Sie mehr über die Auswirkungen von KI in der Landwirtschaft und die Rolle von Computer Vision in der Fertigung auf unseren Lösungsseiten. Entdecken Sie unsere Lizenzierungspläne und starten Sie jetzt Ihre KI-Reise!