Echtzeit-Inferenzen in Vision-AI-Lösungen zeigen Wirkung

Wir alle kennen die Frustration, die eine langsame Internetverbindung irgendwann verursachen kann. Stell dir jedoch diese Verzögerung in einer Situation mit hohem Risiko vor, etwa wenn ein selbstfahrendes Auto auf ein Hindernis reagiert oder ein Arzt einen kritischen Scan analysiert. Schon wenige zusätzliche Sekunden können schwerwiegende Folgen haben.

Hier kann KI-Inferenz in Echtzeit einen entscheidenden Unterschied machen. Durch die schnelle Verarbeitung und Vorhersagen in Echtzeit können Computer-Vision-Lösungen visuelle Daten sofort verarbeiten und darauf reagieren. Diese Entscheidungen in Sekundenbruchteilen können die Sicherheit, Effizienz und den Komfort im Alltag erhöhen.

Stell dir zum Beispiel einen Chirurgen vor, der mithilfe eines robotischen Assistenten einen komplizierten Eingriff durchführt. Jede Bewegung wird über eine Hochgeschwindigkeitsverbindung gesteuert, und das Bildverarbeitungssystem des Roboters verarbeitet das Operationsfeld in Echtzeit, sodass der Chirurg sofort visuelles Feedback erhält. Schon die kleinste Verzögerung in dieser Rückkopplungsschleife könnte zu schwerwiegenden Fehlern führen und den Patienten gefährden. Das ist ein perfektes Beispiel dafür, warum Inferenzen in Echtzeit entscheidend sind: Für Verzögerungen gibt es keinen Spielraum.

KI-Inferenzen in realen Anwendungen beruhen auf drei zentralen Konzepten: Inferenz-Engines (Software oder Hardware, die KI-Modelle effizient ausführt), Inferenzlatenz (die Verzögerung zwischen Eingabe und Ausgabe) und Inferenz in Echtzeit (die Fähigkeit eines KI-Systems, Daten mit minimaler Verzögerung zu verarbeiten und darauf zu reagieren).

In diesem Artikel betrachten wir diese zentralen Konzepte und wie Computer-Vision-Modelle wie Ultralytics YOLO11 Anwendungen ermöglichen, die auf sofortigen Vorhersagen beruhen.

Was ist eine KI-Inferenz?#

Eine Inferenz auszuführen bedeutet, neue Daten mithilfe eines trainierten KI-Modells zu analysieren, um eine Vorhersage zu treffen oder eine Aufgabe zu lösen. Im Gegensatz zum Training, bei dem ein Modell durch die Verarbeitung großer Mengen annotierter Daten angelernt wird, konzentriert sich die Inferenz darauf, mithilfe eines bereits trainierten Modells schnell und präzise Ergebnisse zu erzeugen.

Abb. 1 Was Inferenzen sind.

Zum Beispiel nutzen KI-Kameras im Wildtierschutz Computer-Vision-Modelle, um Tiere in Echtzeit zu erkennen und zu klassifizieren. Wenn eine Kamera eine Bewegung erkennt, identifiziert das KI-Modell sofort, ob es sich um einen Hirsch, ein Raubtier oder sogar einen Wilderer handelt. So können Forschende Tierbestände überwachen und gefährdete Arten ohne menschliches Eingreifen schützen. Diese schnelle Identifizierung macht eine Überwachung in Echtzeit und schnellere Reaktionen auf potenzielle Bedrohungen möglich.

Inferenz-Engines verstehen#

Ein trainiertes Machine-Learning-Modell ist in seiner Rohform nicht immer sofort für den Einsatz bereit. Eine Inferenz-Engine ist ein spezialisiertes Software- oder Hardwarewerkzeug, das Machine-Learning-Modelle effizient ausführt und für den Einsatz in der Praxis optimiert. Sie nutzt Optimierungstechniken wie Modellkomprimierung, Quantisierung und Graphtransformationen, um die Leistung zu verbessern und den Ressourcenverbrauch zu senken. Dadurch lässt sich das Modell in verschiedenen Umgebungen einsetzen.

Im Kern konzentriert sich eine Inferenz-Engine darauf, den Rechenaufwand und die Latenz zu reduzieren sowie die Effizienz zu verbessern, damit schnelle und präzise Vorhersagen möglich werden. Nach der Optimierung führt die Engine das Modell mit neuen Daten aus und kann so effizient Inferenzen in Echtzeit erzeugen. Dadurch können KI-Modelle sowohl auf leistungsstarken Cloud-Servern als auch auf Edge-Geräten mit begrenzten Ressourcen wie Smartphones, IoT-Geräten und eingebetteten Systemen reibungslos ausgeführt werden.

Probleme durch Inferenzlatenz#

Inferenzlatenz ist die Zeitverzögerung zwischen dem Eingang von Daten in ein KI-System, etwa eines Kamerabilds, und der Ausgabe, beispielsweise der Erkennung von Objekten im Bild. Selbst eine kleine Verzögerung kann die Leistung und Benutzerfreundlichkeit von KI-Anwendungen in Echtzeit erheblich beeinträchtigen.

Die Inferenzlatenz tritt in drei zentralen Phasen auf:

• Vorverarbeitungszeit: Die Zeit, die benötigt wird, um Eingabedaten vorzubereiten, bevor sie dem Modell zugeführt werden. Dazu gehören die Größenanpassung von Bildern an die Eingabedimensionen des Modells, die Normalisierung von Pixelwerten für eine höhere Genauigkeit und die Konvertierung von Formaten (z. B. von RGB in Graustufen oder von Videos in Bildsequenzen).
• Berechnungszeit: Die Zeit, die das Modell tatsächlich für die Inferenz benötigt. Dazu gehören Vorgänge wie schichtweise Berechnungen in tiefen Netzwerken, Matrixmultiplikationen, Faltungen und die Datenübertragung zwischen Speicher und Recheneinheiten.
• Nachbearbeitungszeit: Die Zeit, die benötigt wird, um rohe Modellausgaben in aussagekräftige Ergebnisse umzuwandeln. Dazu können das Zeichnen von Begrenzungsrahmen bei der Objekterkennung, das Herausfiltern falsch positiver Ergebnisse bei der Bilderkennung oder die Anwendung von Schwellenwerten bei der Anomalieerkennung gehören.

Die Inferenzlatenz ist für Anwendungen in Echtzeit entscheidend. Bei der automatisierten Fehlererkennung an einer Fertigungslinie kann Computer Vision beispielsweise eingesetzt werden, um Produkte zu prüfen, während sie sich auf dem Förderband bewegen.

Das System muss Fehler schnell erkennen und markieren, bevor die Produkte die nächste Phase erreichen. Wenn das Modell zu lange für die Verarbeitung der Bilder benötigt, werden fehlerhafte Produkte möglicherweise nicht rechtzeitig erkannt. Das kann zu verschwendeten Materialien, kostspieliger Nacharbeit oder dazu führen, dass mangelhafte Produkte bei den Kunden ankommen. Durch die Reduzierung der Latenz können Hersteller die Qualitätskontrolle verbessern, die Effizienz steigern und Verluste verringern.

So lässt sich die Inferenzlatenz reduzieren#

In vielen Computer-Vision-Anwendungen ist es entscheidend, die Inferenzlatenz möglichst gering zu halten. Dafür stehen verschiedene Techniken zur Verfügung. Sehen wir uns einige der gängigsten Verfahren zur Reduzierung der Inferenzlatenz an.

Beschneiden von Modellen#

Das Beschneiden von Modellen vereinfacht ein neuronales Netzwerk, indem unnötige Verbindungen (Gewichte) entfernt werden. Dadurch wird es kleiner und schneller. Dieser Prozess reduziert den Rechenaufwand des Modells und verbessert die Geschwindigkeit, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Indem nur die wichtigsten Verbindungen beibehalten werden, sorgt das Beschneiden für eine effiziente Inferenz und bessere Leistung, insbesondere auf Geräten mit begrenzter Rechenleistung. Es wird häufig in Echtzeitanwendungen wie mobiler KI, Robotik und Edge Computing eingesetzt, um die Effizienz zu steigern und gleichzeitig die Zuverlässigkeit zu erhalten.

Abb. 2 Entfernen weniger effizienter Verbindungen durch das Beschneiden von Modellen.

Quantisierung von Modellen#

Die Quantisierung von Modellen ist eine Technik, mit der KI-Modelle schneller ausgeführt werden und weniger Speicher benötigen, indem die für Berechnungen verwendeten Zahlen vereinfacht werden. Normalerweise arbeiten diese Modelle mit 32-Bit-Gleitkommazahlen, die sehr präzise sind, aber viel Rechenleistung benötigen. Bei der Quantisierung werden diese Zahlen auf 8-Bit-Ganzzahlen reduziert, die sich leichter verarbeiten lassen und weniger Speicherplatz benötigen.

Abb. 3 Verwendung der Modellquantisierung zur Umwandlung von Gleitkommawerten in Ganzzahldarstellungen.

Effiziente Modelle verwenden#

Das Design eines KI-Modells hat großen Einfluss darauf, wie schnell es Vorhersagen treffen kann. Modelle wie Ultralytics YOLO11, die für eine effiziente Inferenz entwickelt wurden, eignen sich ideal für Anwendungen, bei denen die Verarbeitungsgeschwindigkeit entscheidend ist.

Wenn du eine KI-Lösung entwickelst, ist es wichtig, das richtige Modell anhand der verfügbaren Ressourcen und Leistungsanforderungen auszuwählen. Wenn du mit einem zu umfangreichen Modell beginnst, treten eher Probleme wie lange Verarbeitungszeiten, höherer Energieverbrauch und Schwierigkeiten bei der Bereitstellung auf Geräten mit begrenzten Ressourcen auf. Ein leichtgewichtiges Modell sorgt für eine reibungslose Leistung, insbesondere bei Echtzeit- und Edge-Anwendungen.

Geschwindigkeit und Genauigkeit: Inferenzen in Echtzeit optimieren#

Obwohl es verschiedene Techniken zur Reduzierung der Latenz gibt, ist ein zentraler Aspekt von Inferenzen in Echtzeit das Gleichgewicht zwischen Geschwindigkeit und Genauigkeit. Es reicht nicht aus, Modelle schneller zu machen – die Inferenzgeschwindigkeit muss optimiert werden, ohne die Genauigkeit zu beeinträchtigen. Ein System, das zwar schnell, aber fehlerhafte Vorhersagen liefert, ist ineffektiv. Deshalb sind gründliche Tests unverzichtbar, um sicherzustellen, dass Modelle in realen Situationen gut funktionieren. Ein System, das während der Tests schnell wirkt, aber unter tatsächlichen Bedingungen versagt, ist nicht wirklich optimiert.

Anwendungen für Vision AI mit Inferenzen in Echtzeit#

Sehen wir uns nun einige reale Anwendungen an, in denen Inferenzen in Echtzeit Branchen verändern, indem sie sofortige Reaktionen auf visuelle Eingaben ermöglichen.

Selbstbedienungskassen im Einzelhandel#

Computer-Vision-Modelle wie Ultralytics YOLO11 können Selbstbedienungskassen verbessern, indem sie Artikel schneller und präziser erkennen. Die Unterstützung von YOLO11 für verschiedene Computer-Vision-Aufgaben wie Objekterkennung und Instanzsegmentierung ermöglicht die Identifizierung von Produkten, selbst wenn Barcodes fehlen oder beschädigt sind. Vision AI kann den Bedarf an manuellen Eingaben reduzieren und den Bezahlvorgang beschleunigen.

Neben der Produktidentifizierung kann Computer Vision auch in Selbstbedienungskassen integriert werden, um Preise zu überprüfen, Betrug zu verhindern und den Komfort für Kunden zu erhöhen. KI-gestützte Kameras können ähnliche Produkte automatisch unterscheiden und verdächtiges Verhalten an der Kasse erkennen. Dazu gehört die Erkennung von „Nichtscans“, bei denen ein Kunde oder Kassierer versehentlich einen Artikel nicht scannt, sowie von absichtlicheren Betrugsversuchen wie dem „Produktaustausch“, bei dem ein günstigerer Barcode über einem teureren Artikel angebracht wird.

Abb. 4 KI kann Selbstbedienungskassen verbessern.

Ein gutes Beispiel dafür ist Kroger, ein großer Einzelhändler in den USA, der Computer Vision und KI in seine Selbstbedienungskassen integriert hat. Mithilfe der Videoanalyse in Echtzeit konnte Kroger mehr als 75 % der Fehler beim Bezahlvorgang automatisch korrigieren und so sowohl das Kundenerlebnis als auch die Abläufe in den Filialen verbessern.

Qualitätsprüfung mit Computer Vision#

Die manuelle Prüfung von Produkten zur Qualitätskontrolle kann langsam und nicht immer präzise sein. Deshalb setzen immer mehr Hersteller auf visuelle Prüfabläufe, bei denen Computer Vision Fehler bereits früher im Produktionsprozess erkennt.

Hochauflösende Kameras und Vision AI können winzige Mängel erkennen, die Menschen möglicherweise übersehen. Modelle wie Ultralytics YOLO11 können bei Qualitätsprüfungen, beim Sortieren und beim Zählen in Echtzeit helfen und sicherstellen, dass nur einwandfreie Produkte bei den Kunden ankommen. Die Automatisierung dieses Prozesses spart Zeit, senkt Kosten und reduziert Abfall, wodurch die Produktion reibungsloser und effizienter wird.

Abb. 5 Ein Beispiel für das Zählen von Produkten auf einer Fertigungslinie mit Ultralytics YOLO11.

Wichtige Erkenntnisse#

Inferenzen in Echtzeit helfen KI-Modellen, sofortige Entscheidungen zu treffen, was in vielen Branchen entscheidend ist. Ob ein selbstfahrendes Auto einen Unfall vermeidet, ein Arzt medizinische Scans schnell analysiert oder eine Fabrik Produktfehler erkennt – schnelle und präzise Reaktionen von KI machen einen großen Unterschied.

Durch die Verbesserung der Geschwindigkeit und Effizienz von KI-Modellen können wir intelligentere und zuverlässigere Systeme entwickeln, die in realen Situationen reibungslos funktionieren. Mit dem technologischen Fortschritt werden KI-Lösungen in Echtzeit auch künftig die Zukunft prägen und alltägliche Abläufe schneller, sicherer und effizienter machen.

Weitere Informationen findest du in unserem GitHub-Repository. Tausche dich außerdem mit unserer Community aus. Entdecke auf unseren Lösungsseiten Innovationen in Bereichen wie KI in selbstfahrenden Autos und Computer Vision in der Landwirtschaft. Informiere dich über unsere Lizenzoptionen und erwecke deine Vision-AI-Projekte zum Leben.