Ultralytics YOLO11 zum Ausführen von Stapelinferenzen verwenden

Wenn du schon einmal ein selbstfahrendes Auto in Aktion gesehen hast, hast du KI-Inferenz in Echtzeit erlebt. Ein selbstfahrendes Auto nutzt typischerweise Kameras, Sensoren und KI, um seine Umgebung zu verarbeiten und nahezu sofort Entscheidungen zu treffen. Wenn schnelle Reaktionen jedoch nicht erforderlich sind, kann die Inferenz in Echtzeit viele Ressourcen beanspruchen.

Eine bessere Option ist in diesen Fällen die Batch-Inferenz. Statt Daten kontinuierlich in Echtzeit zu verarbeiten, kann eine Batch-Inferenz große Datenmengen in festgelegten Zeitabständen verarbeiten. Dieser Ansatz hilft, Ressourcen zu sparen, den Energieverbrauch zu senken und Infrastrukturkosten zu reduzieren.

In Anwendungen des maschinellen Sehens können Modelle wie Ultralytics YOLO11 beispielsweise für Aufgaben in Echtzeit wie Objekterkennung und Instanzsegmentierung eingesetzt werden. Die Verarbeitung großer Mengen visueller Daten in Echtzeit kann jedoch anspruchsvoll sein.

Abb. 1. Beispiel für die Segmentierung von Objekten in einem Bild mit Ultralytics YOLO11.

Mit der Batch-Inferenz kann Ultralytics YOLO11 visuelle Daten stapelweise ausführen. Dadurch wird das System entlastet und die Effizienz verbessert, ohne die Leistung zu beeinträchtigen. So lassen sich KI-Lösungen für maschinelles Sehen einfacher in großem Maßstab bereitstellen, ohne die Hardware zu überlasten oder die Kosten zu erhöhen.

In diesem Artikel sehen wir uns die Batch-Inferenz, ihre Vorteile und die Anwendung der Batch-Inferenz mit Ultralytics YOLO11 in Anwendungen des maschinellen Sehens an. Legen wir los!

Batch-Inferenz im maschinellen Sehen im Überblick#

Du kannst dir die Batch-Inferenz so vorstellen, als würdest du eine große Aufgabe auf einmal erledigen, statt sie Stück für Stück abzuarbeiten, sobald sie eintrifft. Anstatt Daten ständig in Echtzeit zu verarbeiten, kannst du mit der Batch-Inferenz große Datengruppen in festgelegten Zeitabständen verarbeiten. Dieser Ansatz ist wesentlich effizienter, wenn sofortige Antworten nicht erforderlich sind, und hilft dabei, Rechenressourcen zu sparen, den Energieverbrauch zu senken und Kosten zu reduzieren.

Beim maschinellen Sehen gibt es bestimmte Anwendungen, in denen eine geringe Latenz entscheidend ist. Eine geringe Latenz bezeichnet die minimale Verzögerung zwischen dem Empfang einer Eingabe, etwa eines Bildes oder Videobilds, und der Reaktion des Systems. Bei der Sicherheitsüberwachung in Echtzeit können beispielsweise selbst kleine Verzögerungen Sicherheitsrisiken verursachen.

In vielen anderen Szenarien des maschinellen Sehens ist eine geringe Latenz jedoch weniger kritisch. Hier spielt die Batch-Inferenz ihre Stärken aus – wenn das System nicht sofort reagieren muss. Bei der Batch-Inferenz werden visuelle Daten gruppenweise oder stapelweise an ein Modell für maschinelles Sehen übergeben. So kann das System große Datensätze auf einmal verarbeiten, anstatt sie kontinuierlich in Echtzeit zu verarbeiten.

So funktioniert die Batch-Inferenz#

Hier siehst du die einzelnen Schritte der Batch-Inferenz im Detail:

• Datensammlung: Visuelle Daten werden über einen bestimmten Zeitraum gesammelt. Je nach Anwendung kann es sich dabei um Sicherheitsaufnahmen, Produktbilder oder Kundendaten handeln.

• Vorbereitung der Stapel: Die gesammelten Daten werden anschließend zu Stapeln zusammengefasst. In diesem Schritt werden die Daten so formatiert, wie es das Modell erfordert. Bilder können beispielsweise in der Größe angepasst, normalisiert oder in das passende Format für die Verarbeitung durch das Modell umgewandelt werden.

• Vorhersage: Sobald die Daten vorbereitet sind, wird der gesamte Stapel in das Modell, beispielsweise Ultralytics YOLO11, eingespeist, das ihn auf einmal verarbeitet. Dadurch kann das Modell gleichzeitig Vorhersagen für alle Daten im Stapel treffen, was den Prozess effizienter macht, als jeden Datenpunkt einzeln zu verarbeiten.

Wann solltest du die Batch-Inferenz einsetzen?#

Nachdem wir nun erläutert haben, was Batch-Inferenz ist und wie sie sich von der Inferenz in Echtzeit unterscheidet, sehen wir uns genauer an, wann du sie einsetzen solltest.

Die Batch-Inferenz eignet sich ideal für die Analyse historischer Daten. Angenommen, du hast Überwachungsaufnahmen aus einer U-Bahn-Station des vergangenen Monats und möchtest bestimmte Muster erkennen, etwa die Anzahl der Personen, die zu unterschiedlichen Tageszeiten die Station betreten und verlassen.

Statt jedes Einzelbild in Echtzeit zu verarbeiten, kannst du mit der Batch-Inferenz die Aufnahmen des gesamten Monats stapelweise verarbeiten und wichtige Ereignisse oder Trends erkennen, ohne sofortige Ergebnisse zu benötigen. So kannst du große Datenmengen effizienter analysieren und Erkenntnisse über langfristige Muster gewinnen, ohne das System zu überlasten oder eine ständige Überwachung zu erfordern.

Die Batch-Inferenz ist auch eine optimale Lösung, wenn die Systemressourcen begrenzt sind. Indem du die Inferenz außerhalb der Spitzenzeiten ausführst, etwa über Nacht, kannst du Rechenkosten sparen und sicherstellen, dass das System während der Zeiten hoher Auslastung nicht überlastet wird. Damit ist sie ein effizienter und kostengünstiger Ansatz für Unternehmen oder Projekte, die große Datensätze verarbeiten müssen, aber keine Analyse in Echtzeit benötigen.

Batch-Inferenz mit Ultralytics YOLO11#

Das Ultralytics Python-Paket unterstützt die Batch-Inferenz für Modelle wie YOLO11. Mit YOLO11 kannst du ganz einfach eine Batch-Inferenz ausführen, indem du das Argument „batch“ angibst. Es legt fest, wie viele Bilder oder Videobilder gleichzeitig verarbeitet werden.

Während der Batch-Inferenz werden für alle Bilder im Stapel gleichzeitig Vorhersagen erzeugt. Standardmäßig ist die Stapelgröße auf 1 gesetzt, du kannst sie jedoch auf einen beliebigen Wert anpassen.

Wenn die Stapelgröße beispielsweise auf 5 gesetzt ist, verarbeitet Ultralytics YOLO11 jeweils fünf Bilder oder Videobilder und erzeugt gleichzeitig Vorhersagen für alle fünf. Größere Stapelgrößen führen in der Regel zu kürzeren Inferenzzeiten, da die Verarbeitung mehrerer Bilder in einem Stapel effizienter ist als ihre Einzelverarbeitung.

Anwendungen des maschinellen Sehens mit Batch-Inferenz#

Sehen wir uns nun einige Anwendungsfälle der Batch-Inferenz im maschinellen Sehen aus der Praxis an.

Diagnostik und Forschung im Gesundheitswesen verbessern#

In der medizinischen Forschung ist die Arbeit mit großen Mengen visueller Daten sehr verbreitet. Hier kann die Batch-Inferenz Wissenschaftler dabei unterstützen, Daten in Bereichen wie Chemie, Biologie und Genetik leichter zu analysieren. Statt die Daten einzeln zu analysieren, werden sie stapelweise verarbeitet, wodurch Zeit und Aufwand gespart werden.

In medizinischen Einrichtungen kann die Batch-Inferenz beispielsweise besonders nützlich sein, um große Mengen medizinischer Bilder wie MRT- oder CT-Aufnahmen zu analysieren. Krankenhäuser können diese Aufnahmen den ganzen Tag über sammeln und über Nacht stapelweise verarbeiten.

Dieser Ansatz ermöglicht es Krankenhäusern, ihre Hardware und ihr Personal besser zu nutzen, Betriebskosten zu senken und sicherzustellen, dass alle Aufnahmen einheitlich und konsistent überprüft werden. Er ist auch für große Forschungsprojekte und Langzeitstudien von Vorteil, bei denen die Verarbeitung umfangreicher Datenmengen erforderlich ist.

Abb. 2. Erkennung eines Befunds in einer medizinischen Aufnahme mit Ultralytics YOLO11.

Autonome Fahrzeuge mithilfe von Simulationen verbessern#

Selbstfahrende Autos nutzen KI-Technologien wie maschinelles Sehen, um ihre Umgebung zu verarbeiten. Mithilfe fortschrittlicher Modelle wie Ultralytics YOLO11 können die Bordsysteme des Autos andere Fahrzeuge, Fahrbahnmarkierungen, Verkehrsschilder und Personen auf der Straße erkennen. Während die Inferenz in Echtzeit auf der Straße entscheidend ist, stützt sich die Technologie für selbstfahrende Autos hinter den Kulissen auch stark auf Batch-Inferenz.

Abb. 3. YOLO11 kann Fußgänger auf der Straße problemlos erkennen.

Nachdem ein Auto eine Fahrt abgeschlossen hat, können die gesammelten Daten, etwa stundenlange Kameraaufnahmen, Sensormesswerte und LIDAR-Scans, später in großen Stapeln verarbeitet werden. Dadurch können Ingenieure die KI-Modelle des Autos aktualisieren, die Systemsicherheit verbessern und seine Fähigkeit erweitern, mit verschiedenen Fahrbedingungen umzugehen.

Batch-Inferenz wird auch in Simulationen für autonomes Fahren eingesetzt, um zu testen, wie selbstfahrende Autos in unterschiedlichen Situationen reagieren würden, etwa beim Navigieren durch stark befahrene Kreuzungen oder beim Reagieren auf unvorhersehbare Bewegungen von Fußgängern. Dieser Ansatz spart Zeit und Kosten und vermeidet die Risiken, die mit dem Testen jedes Szenarios in der Realität verbunden sind.

Einzelhandelsdatenanalyse mit Batch-Inferenz#

Auch für Einzelhandelsgeschäfte kann die Batch-Inferenz mit Modellen des maschinellen Sehens wie Ultralytics YOLO11 die betriebliche Effizienz deutlich steigern. Kamerasysteme in Geschäften können beispielsweise den ganzen Tag über Tausende von Bildern aufnehmen, die anschließend über Nacht stapelweise verarbeitet werden.

So können Geschäfte analysieren, was in ihren Räumlichkeiten geschieht, etwa das Kundenverhalten, Bewegungsmuster und Interaktionen mit Produkten, ohne eine Verarbeitung in Echtzeit zu benötigen, die für kleinere Geschäfte schwierig sein kann.

Ein weiteres interessantes Beispiel ist der Einsatz der Batch-Inferenz zur Erstellung von Heatmaps, die Bereiche mit hoher und niedriger Kundenaktivität im Geschäft visualisieren. Durch die Analyse dieser Heatmaps können Einzelhändler erkennen, welche Bereiche die meisten Kunden anziehen und welche Teile des Geschäfts möglicherweise mehr Aufmerksamkeit oder eine optimierte Produktplatzierung benötigen. Diese Daten können Einzelhändlern helfen, bessere Entscheidungen über die Gestaltung des Geschäfts, die Positionierung von Produkten und sogar Werbestrategien zu treffen, um das Kundenerlebnis und den Umsatz zu verbessern.

Abb. 4. Heatmaps können Einzelhändlern helfen, beliebte Bereiche in Geschäften zu erkennen.

Vor- und Nachteile der Batch-Inferenz#

Hier sind einige der wichtigsten Vorteile, die Batch-Inferenz für verschiedene Branchen bieten kann:

• Einfache Integration: Die Batch-Inferenz lässt sich problemlos in bestehende Arbeitsabläufe integrieren, insbesondere in Branchen wie Einzelhandel, Sicherheit oder Gesundheitswesen, in denen große Datenmengen gesammelt verarbeitet werden müssen.
• Einfachere Datenverwaltung: Bei der Arbeit mit großen Datenmengen kann die Batch-Inferenz die Datenverwaltung vereinfachen, da die Daten in überschaubare Einheiten gruppiert werden. Dadurch lassen sich Daten über einen längeren Zeitraum leichter verfolgen, überprüfen und organisieren.
• Reduzierte Netzwerkauslastung: Wenn Daten stapelweise verarbeitet werden, lässt sich die zu einem bestimmten Zeitpunkt übertragene Datenmenge minimieren. Dadurch werden Netzwerkressourcen in cloudbasierten Systemen oder verteilten Rechenumgebungen weniger belastet.

Die Batch-Inferenz bietet zwar viele Vorteile, bringt aber auch einige Einschränkungen mit sich, die du berücksichtigen solltest. Hier sind einige Faktoren, die du im Blick behalten solltest:

• Speicheranforderungen: Die Speicherung großer Datensätze für die stapelweise Verarbeitung kann die Speicherkosten erheblich erhöhen, insbesondere bei hochauflösenden Bildern, Videos oder großen Datenmengen.
• Mögliche Rückstände: Wenn sich Daten schnell ansammeln oder große Stapel nicht rechtzeitig verarbeitet werden, kann ein Rückstau entstehen. Dies kann zu Verzögerungen bei der Bereitstellung von Erkenntnissen und bei der zeitnahen Verarbeitung neuer Daten führen.
• Ressourcenspitzen: Große Stapel, insbesondere mit hochauflösenden Bildern, können zu Spitzen bei der Speicher- oder Rechenauslastung führen. Wenn diese nicht ordnungsgemäß verwaltet werden, können sie Systeme überlasten und dadurch Verlangsamungen oder Abstürze verursachen.

Wichtige Erkenntnisse#

Die Batch-Inferenz ist eine effiziente Möglichkeit, große Mengen visueller Daten zu verarbeiten, für die keine sofortigen Ergebnisse erforderlich sind. Statt jedes Bild in Echtzeit zu analysieren, werden die Bilder zu festgelegten Zeiten, etwa über Nacht, stapelweise verarbeitet.

Diese Methode ist kostengünstig, reduziert die Rechenlast und liefert dennoch genaue Ergebnisse. Von der Unterstützung bei der Bestandsverwaltung in Geschäften über die Analyse medizinischer Aufnahmen durch Ärzte bis hin zur Verbesserung der Technologie für selbstfahrende Autos macht die Batch-Inferenz maschinelles Sehen für Anwendungen in der Praxis zugänglicher, erschwinglicher und praktikabler.

Möchtest du tiefer in die KI eintauchen? Sieh dir unser GitHub-Repository an, tausche dich mit unserer Community aus und informiere dich über unsere Lizenzoptionen, um deine Reise im Bereich des maschinellen Sehens zu beginnen. Auf unseren Lösungsseiten erfährst du mehr über Innovationen wie KI in der Fertigung und maschinelles Sehen in der Logistikbranche.