Verwendung von Ultralytics YOLO11 zur Durchführung von Batch-Inferenzen

Wenn du schon einmal ein selbstfahrendes Auto in Aktion gesehen hast, bist du Zeuge von Echtzeit-KI-Inferenz geworden. Ein selbstfahrendes Auto nutzt in der Regel Kameras, Sensoren und KI, um seine Umgebung zu verarbeiten und fast sofortige Entscheidungen zu treffen. Wenn jedoch keine schnellen Reaktionen erforderlich sind, kann Echtzeit-Inferenz sehr ressourcenintensiv sein.

Eine bessere Option in diesen Fällen ist die Batch-Inferenz. Anstatt Daten kontinuierlich in Echtzeit zu verarbeiten, kann eine Batch-Inferenz große Datenmengen in geplanten Intervallen verarbeiten. Dieser Ansatz hilft, Ressourcen zu sparen, den Stromverbrauch zu senken und die Infrastrukturkosten zu reduzieren.

In Computer-Vision-Anwendungen können beispielsweise Modelle wie Ultralytics YOLO11 für Echtzeitaufgaben wie Objekterkennung und Instanzsegmentierung eingesetzt werden. Die Verarbeitung großer Mengen visueller Daten in Echtzeit kann jedoch anspruchsvoll sein.

Abb. 1. Ein Beispiel für die Segmentierung von Objekten in einem Bild mit YOLO11.

Mit Batch-Inferenz kann YOLO11 visuelle Daten in Batches verarbeiten, was die Systembelastung reduziert und die Effizienz verbessert, ohne die Leistung zu beeinträchtigen. Dies erleichtert die Bereitstellung von Vision-AI-Lösungen in großem Maßstab, ohne die Hardware zu überlasten oder die Kosten in die Höhe zu treiben.

In diesem Artikel untersuchen wir Batch-Inferenz, ihre Vorteile und wie Batch-Inferenz mit YOLO11 in Computer-Vision-Anwendungen eingesetzt werden kann. Lass uns anfangen!

Link to this sectionEin Blick auf Batch-Inferenz in der Computer Vision#

Du kannst dir Batch-Inferenz wie das Erledigen einer großen Aufgabe auf einmal vorstellen, anstatt sie Stück für Stück zu bearbeiten, sobald sie eintrifft. Anstatt Daten ständig in Echtzeit zu verarbeiten, ermöglicht dir die Batch-Inferenz, große Gruppen von Daten in festgelegten Intervallen zu verarbeiten. Dieser Ansatz ist weitaus effizienter, wenn keine sofortigen Reaktionen erforderlich sind, und hilft, Rechenressourcen zu sparen, den Energieverbrauch zu senken und Kosten zu reduzieren.

Wenn es um Computer Vision geht, gibt es bestimmte Anwendungen, bei denen eine niedrige Latenz entscheidend ist. Niedrige Latenz bezieht sich auf die minimale Verzögerung zwischen dem Empfang einer Eingabe (wie einem Bild oder Videobild) und der Reaktion des Systems. Zum Beispiel können bei der Echtzeit-Sicherheitsüberwachung selbst kleine Verzögerungen Sicherheitsrisiken bergen.

In vielen anderen Computer-Vision-Szenarien ist eine niedrige Latenz jedoch nicht so kritisch. Hier glänzt die Batch-Inferenz – wenn das System nicht sofort reagieren muss. Batch-Inferenz funktioniert, indem visuelle Daten in Gruppen oder Batches an ein Computer-Vision-Modell gesendet werden, was es dem System ermöglicht, große Datensätze auf einmal zu verarbeiten, anstatt kontinuierlich in Echtzeit.

Link to this sectionVerstehen, wie Batch-Inferenz funktioniert#

Hier ist ein genauerer Blick auf die Schritte der Batch-Inferenz:

• Datenerfassung: Visuelle Daten werden über einen Zeitraum gesammelt. Dies können Sicherheitsaufnahmen, Produktbilder oder Kundendaten sein, je nach Anwendung.

• Batch-Vorbereitung: Die gesammelten Daten werden dann in Batches gruppiert. In diesem Schritt werden die Daten wie vom Modell erforderlich formatiert. Zum Beispiel könnten Bilder in der Größe angepasst, normalisiert oder in das entsprechende Format für die Verarbeitung durch das Modell konvertiert werden.

• Vorhersage: Sobald die Daten vorbereitet sind, wird das gesamte Batch in das Modell (wie YOLO11) eingespeist, das das gesamte Batch auf einmal verarbeitet. Dies ermöglicht es dem Modell, Vorhersagen für alle Daten im Batch gleichzeitig zu treffen, was den Prozess im Vergleich zur Einzelverarbeitung jedes Datenpunkts effizienter macht.

Link to this sectionWann sollte Batch-Inferenz verwendet werden?#

Nachdem wir nun geklärt haben, was Batch-Inferenz ist und wie sie sich von der Echtzeit-Inferenz unterscheidet, schauen wir uns genauer an, wann du sie verwenden solltest.

Batch-Inferenz ist ideal für die Analyse historischer Daten. Angenommen, du hast Überwachungsaufnahmen von einer U-Bahn-Station aus dem letzten Monat und versuchst, spezifische Muster zu identifizieren, wie z. B. die Anzahl der Personen, die zu verschiedenen Tageszeiten ein- und ausgehen.

Anstatt jedes Bild in Echtzeit zu verarbeiten, ermöglicht dir die Batch-Inferenz, die Aufnahmen eines ganzen Monats in Batches zu verarbeiten und so wichtige Ereignisse oder Trends zu identifizieren, ohne dass sofortige Ergebnisse erforderlich sind. Auf diese Weise kannst du große Datenmengen effizienter analysieren und Einblicke in langfristige Muster gewinnen, ohne das System zu überlasten oder eine ständige Überwachung zu erfordern.

Batch-Inferenz ist auch eine optimale Lösung, wenn die Systemressourcen begrenzt sind. Durch das Ausführen der Inferenz außerhalb der Spitzenzeiten (z. B. über Nacht) kannst du Rechenkosten sparen und sicherstellen, dass das System während der Spitzenlastzeiten nicht überlastet wird. Dies macht es zu einem effizienten und kostengünstigen Ansatz für Unternehmen oder Projekte, die große Datensätze verarbeiten müssen, aber keine Echtzeitanalyse benötigen.

Link to this sectionBatch-Inferenz mit Ultralytics YOLO11#

Das Ultralytics Python-Paket unterstützt Batch-Inferenz für Modelle wie YOLO11. Mit YOLO11 kannst du ganz einfach Batch-Inferenz ausführen, indem du das Argument 'batch' angibst, das bestimmt, wie viele Bilder oder Videobilder gleichzeitig verarbeitet werden.

Während des Batch-Inferenzprozesses werden Vorhersagen für alle Bilder im Batch gleichzeitig generiert. Standardmäßig ist die Batch-Größe auf 1 eingestellt, aber du kannst sie auf jede gewünschte Zahl anpassen.

Wenn die Batch-Größe beispielsweise auf 5 eingestellt ist, verarbeitet YOLO11 fünf Bilder oder Videobilder gleichzeitig und generiert für alle fünf auf einmal Vorhersagen. Größere Batch-Größen führen in der Regel zu schnelleren Inferenzzeiten, da die Verarbeitung mehrerer Bilder in einem Batch effizienter ist als deren Einzelverarbeitung.

Link to this sectionComputer-Vision-Anwendungen durch Batch-Inferenz#

Lass uns als Nächstes einige praxisnahe Computer-Vision-Anwendungsfälle für Batch-Inferenz erkunden.

Link to this sectionVerbesserung von Diagnostik und Forschung im Gesundheitswesen#

In der medizinischen Forschung ist das Arbeiten mit großen Mengen visueller Daten sehr verbreitet. Hier kann die Batch-Inferenz Wissenschaftlern helfen, Daten in Bereichen wie Chemie, Biologie und Genetik einfacher zu analysieren. Anstatt die Daten einzeln zu analysieren, werden sie in Batches verarbeitet, was Zeit und Mühe spart.

Zum Beispiel kann die Batch-Inferenz in medizinischen Einrichtungen besonders nützlich für die Analyse großer Sätze medizinischer Bilder wie MRTs oder CT-Scans sein. Krankenhäuser können diese Scans über den Tag hinweg sammeln und sie über Nacht in Batches verarbeiten.

Dieser Ansatz ermöglicht es Krankenhäusern, ihre Hardware und ihr Personal besser zu nutzen, Betriebskosten zu senken und sicherzustellen, dass alle Scans auf konsistente und einheitliche Weise überprüft werden. Er ist auch vorteilhaft für große Forschungsprojekte und Langzeitstudien, bei denen die Verarbeitung riesiger Datenmengen erforderlich ist.

Abb. 2. Erkennen eines Befundes in einem medizinischen Scan mit YOLO11.

Link to this sectionVerbesserung autonomer Fahrzeuge durch Simulationen#

Selbstfahrende Autos nutzen KI-Technologien wie Computer Vision, um ihre Umgebung zu verarbeiten. Mit Hilfe fortschrittlicher Modelle wie YOLO11 können Bordsysteme im Auto andere Fahrzeuge, Fahrbahnmarkierungen, Straßenschilder und Personen auf der Straße erkennen. Während die Echtzeit-Inferenz auf der Straße entscheidend ist, setzt die Technologie für selbstfahrende Autos hinter den Kulissen auch stark auf Batch-Inferenz.

Abb. 3. YOLO11 kann problemlos Fußgänger auf der Straße erkennen.

Nachdem ein Auto eine Fahrt abgeschlossen hat, können die gesammelten Daten, wie stundenlange Kameraaufnahmen, Sensormesswerte und LIDAR-Scans, später in großen Batches verarbeitet werden. Dies ermöglicht es Ingenieuren, die KI-Modelle des Autos zu aktualisieren, die Systemsicherheit zu erhöhen und die Fähigkeit zur Bewältigung verschiedener Fahrbedingungen zu verbessern.

Batch-Inferenz wird auch in Simulationen für autonomes Fahren verwendet, um zu testen, wie selbstfahrende Autos in verschiedenen Situationen reagieren würden, wie z. B. beim Navigieren durch belebte Kreuzungen oder beim Reagieren auf unvorhersehbare Fußgängerbewegungen. Dieser Ansatz spart Zeit, reduziert Kosten und vermeidet die Risiken, die mit dem Testen jedes Szenarios im echten Leben verbunden sind.

Link to this sectionEinzelhandelsdatenanalyse durch Batch-Inferenz#

Ebenso kann für Einzelhandelsgeschäfte die Batch-Inferenz mit Computer-Vision-Modellen wie YOLO11 die betriebliche Effizienz erheblich steigern. Beispielsweise können Kamerasysteme in Geschäften den ganzen Tag über Tausende von Bildern aufnehmen, die dann über Nacht in Batches verarbeitet werden können.

Dies ermöglicht es Geschäften zu analysieren, was im Laden passiert, wie z. B. Kundenverhalten, Verkehrsmuster und Produktinteraktionen, ohne dass eine Echtzeitverarbeitung erforderlich ist, was für kleinere Geschäfte eine Herausforderung darstellen kann.

Ein weiteres interessantes Beispiel ist die Verwendung von Batch-Inferenz zur Generierung von Heatmaps, die Bereiche mit hoher und niedriger Kundenaktivität im Geschäft visualisieren. Durch die Analyse dieser Heatmaps können Einzelhändler identifizieren, welche Bereiche den meisten Fußgängerverkehr anziehen und welche Teile des Geschäfts möglicherweise mehr Aufmerksamkeit oder eine Optimierung der Produktplatzierung benötigen. Diese Daten können Einzelhändlern helfen, bessere Entscheidungen bei der Ladengestaltung, Produktpositionierung und sogar bei Werbestrategien zu treffen, um das Kundenerlebnis und den Umsatz zu verbessern.

Abb. 4. Heatmaps können Einzelhändlern helfen, beliebte Bereiche in Geschäften zu identifizieren.

Link to this sectionVor- und Nachteile der Batch-Inferenz#

Hier sind einige der wichtigsten Vorteile, die Batch-Inferenz für verschiedene Branchen bieten kann:

• Einfache Integration: Batch-Inferenz kann problemlos in bestehende Arbeitsabläufe integriert werden, insbesondere für Branchen wie Einzelhandel, Sicherheit oder Gesundheitswesen, in denen große Datenmengen gesammelt verarbeitet werden müssen.
• Einfacheres Datenmanagement: Bei der Arbeit mit großen Datenmengen kann die Batch-Inferenz das Datenmanagement rationalisieren, da die Daten in überschaubare Brocken gruppiert werden. Dies macht es einfacher, Daten im Laufe der Zeit zu verfolgen, zu überprüfen und zu organisieren.
• Reduzierte Netzwerklast: Wenn Daten in Batches verarbeitet werden, kann die Menge der zu einem bestimmten Zeitpunkt übertragenen Daten minimiert werden, was die Belastung der Netzwerkressourcen in Cloud-basierten Systemen oder verteilten Rechenumgebungen reduziert.

Obwohl die Verwendung von Batch-Inferenz viele Vorteile bietet, gibt es auch einige Einschränkungen, die berücksichtigt werden sollten. Hier sind einige Faktoren, die man im Hinterkopf behalten sollte:

• Speicheranforderungen: Das Speichern großer Datensätze für die Batch-Verarbeitung kann die Speicherkosten erheblich erhöhen, insbesondere bei hochauflösenden Bildern, Videos oder großen Datenmengen.
• Potenzial für Rückstände: Wenn sich Daten schnell ansammeln oder große Batches nicht rechtzeitig verarbeitet werden, kann ein Rückstand entstehen. Dies kann zu Verzögerungen bei der Bereitstellung von Erkenntnissen und der zeitnahen Verarbeitung neuer Daten führen.
• Ressourcenspitzen: Große Batches, insbesondere solche mit hochauflösenden Bildern, können Spitzen bei der Speicher- oder Rechenauslastung verursachen. Wenn sie nicht ordnungsgemäß verwaltet werden, können diese Spitzen die Systeme überlasten, was zu Verlangsamungen oder Abstürzen führen kann.

Link to this sectionWichtige Erkenntnisse#

Batch-Inferenz ist eine effiziente Möglichkeit, große Mengen visueller Daten zu verarbeiten, die keine sofortigen Ergebnisse erfordern. Anstatt jedes Bild in Echtzeit zu analysieren, verarbeitet sie diese zu geplanten Zeiten, beispielsweise über Nacht, in Batches.

Diese Methode ist kostengünstig, reduziert die Rechenlast und liefert dennoch genaue Ergebnisse. Von der Unterstützung von Geschäften bei der Bestandsverwaltung bis hin zur Unterstützung von Ärzten bei der Analyse medizinischer Scans und der Verbesserung von Technologien für selbstfahrende Autos macht die Batch-Inferenz Computer Vision zugänglicher, erschwinglicher und praktischer für reale Anwendungen.

Bereit, tief in KI einzutauchen? Erkunde unser GitHub-Repository, vernetze dich mit unserer Community und sieh dir unsere Lizenzoptionen an, um deine Computer-Vision-Reise zu beginnen. Erfahre mehr über Innovationen wie KI in der Fertigung und Computer Vision in der Logistik auf unseren Lösungsseiten.