Echtzeit-Inferenz in Vision-AI-Lösungen zeigt Wirkung

Wir alle kennen die Frustration, die eine langsame Internetverbindung verursachen kann. Stell dir eine solche Verzögerung jedoch in einer Situation mit hohem Risiko vor, etwa wenn ein selbstfahrendes Auto auf ein Hindernis reagiert oder ein Arzt eine kritische Aufnahme untersucht. Schon ein paar Sekunden Verzögerung können schwerwiegende Folgen haben.

Hier kann KI-Inferenz in Echtzeit einen Unterschied machen. Schnelle Verarbeitung und Echtzeitvorhersagen ermöglichen es Computer-Vision-Lösungen, visuelle Daten sofort zu verarbeiten und darauf zu reagieren. Entscheidungen in Sekundenbruchteilen können die Sicherheit, Effizienz und den Komfort im Alltag verbessern.

Stell dir zum Beispiel einen Chirurgen vor, der mithilfe eines robotischen Assistenten einen heiklen Eingriff vornimmt. Jede Bewegung wird über eine Hochgeschwindigkeitsverbindung gesteuert, und das Bildverarbeitungssystem des Roboters verarbeitet das Operationsfeld in Echtzeit und liefert dem Chirurgen sofort visuelle Rückmeldungen. Schon die geringste Verzögerung in dieser Rückkopplungsschleife könnte zu schwerwiegenden Fehlern führen und den Patienten gefährden. Das zeigt deutlich, warum Inferenzen in Echtzeit entscheidend sind: Verzögerungen sind nicht hinnehmbar.

KI-Inferenzen in praktischen Anwendungen beruhen auf drei zentralen Konzepten: Inferenz-Engines (Software oder Hardware, die KI-Modelle effizient ausführt), Inferenzlatenz (die Verzögerung zwischen Ein- und Ausgabe) und Echtzeit-Inferenz (die Fähigkeit eines KI-Systems, Daten mit minimaler Verzögerung zu verarbeiten und darauf zu reagieren).

In diesem Artikel betrachten wir diese grundlegenden Konzepte und zeigen, wie Computer-Vision-Modelle wie Ultralytics YOLO11 Anwendungen ermöglichen, die auf sofortige Vorhersagen angewiesen sind.

Was ist eine KI-Inferenz?#

Eine Inferenz auszuführen bedeutet, neue Daten mithilfe eines trainierten KI-Modells zu analysieren, um eine Vorhersage zu treffen oder eine Aufgabe zu lösen. Anders als beim Training, bei dem ein Modell anhand großer Mengen gekennzeichneter Daten trainiert wird, geht es bei der Inferenz darum, mit einem bereits trainierten Modell schnell und präzise Ergebnisse zu liefern.

Abb. 1. Was Inferenzen sind.

Beim Artenschutz setzen beispielsweise KI-Kamerafallen Computer-Vision-Modelle ein, um Tiere in Echtzeit zu erkennen und zu klassifizieren. Sobald eine Kamera eine Bewegung erkennt, bestimmt das KI-Modell sofort, ob es sich um einen Hirsch, ein Raubtier oder sogar einen Wilderer handelt. So können Wissenschaftler Tierbestände überwachen und bedrohte Arten ohne menschliches Eingreifen schützen. Dank dieser schnellen Erkennung sind eine Überwachung in Echtzeit und schnellere Reaktionen auf mögliche Bedrohungen möglich.

Inferenz-Engines verstehen#

Ein trainiertes Modell für maschinelles Lernen ist in seiner ursprünglichen Form nicht immer sofort einsatzbereit. Eine Inferenz-Engine ist ein spezialisiertes Software- oder Hardwarewerkzeug, das Modelle für maschinelles Lernen effizient ausführt und für den praktischen Einsatz optimiert. Sie nutzt Optimierungstechniken wie Modellkomprimierung, Quantisierung und Graphtransformationen, um die Leistung zu steigern und den Ressourcenverbrauch zu senken. Dadurch lässt sich das Modell in verschiedenen Umgebungen einsetzen.

Im Kern konzentriert sich eine Inferenz-Engine darauf, den Rechenaufwand und die Latenz zu verringern sowie die Effizienz zu steigern, damit schnelle und präzise Vorhersagen möglich sind. Nach der Optimierung führt die Engine das Modell mit neuen Daten aus und erzeugt so effizient Inferenzen in Echtzeit. Dank dieser Optimierung können KI-Modelle sowohl auf leistungsstarken Cloud-Servern als auch auf Geräten mit begrenzten Ressourcen wie Smartphones, IoT-Geräten und eingebetteten Systemen reibungslos laufen.

Probleme durch Inferenzlatenz#

Inferenzlatenz bezeichnet die Verzögerung zwischen dem Eingang von Daten in ein KI-System – etwa eines Kamerabilds – und der Ausgabe eines Ergebnisses, zum Beispiel der Erkennung von Objekten im Bild. Selbst eine geringe Verzögerung kann die Leistung und Benutzerfreundlichkeit von KI-Anwendungen in Echtzeit erheblich beeinträchtigen.

Die Inferenzlatenz entsteht in drei zentralen Phasen:

• Vorverarbeitungszeit: Die Zeit, die benötigt wird, um Eingabedaten vorzubereiten, bevor sie dem Modell zugeführt werden. Dazu gehören das Ändern der Bildgröße, damit sie den Eingabemaßen des Modells entspricht, das Normalisieren von Pixelwerten zur Verbesserung der Genauigkeit und das Umwandeln von Formaten (z. B. RGB in Graustufen oder Video in Bildsequenzen).
• Berechnungszeit: Die tatsächliche Zeit, die das Modell für die Inferenz benötigt. Dazu gehören Vorgänge wie Berechnungen für einzelne Schichten in tiefen neuronalen Netzen, Matrixmultiplikationen, Faltungen und die Übertragung von Daten zwischen Speicher und Verarbeitungseinheiten.
• Nachbearbeitungszeit: Die Zeit, die benötigt wird, um rohe Modellausgaben in aussagekräftige Ergebnisse umzuwandeln. Dazu kann gehören, Begrenzungsrahmen bei der Objekterkennung einzuzeichnen, Fehlalarme bei der Bilderkennung herauszufiltern oder bei der Anomalieerkennung Schwellenwerte anzuwenden. Einige Detektoren, darunter Ultralytics YOLO26, lassen den Schritt der Non-Maximum Suppression (NMS) weg, um diese Phase zu verkürzen.

Inferenzlatenz ist bei Echtzeitanwendungen entscheidend. Bei der automatisierten Fehlererkennung an einer Montagelinie kann Computer Vision beispielsweise Produkte prüfen, während sie sich auf dem Förderband bewegen.

Das System muss Fehler schnell erkennen und melden, bevor die Produkte die nächste Fertigungsstufe erreichen. Dauert die Bildverarbeitung durch das Modell zu lange, werden fehlerhafte Produkte möglicherweise nicht rechtzeitig erkannt. Das führt zu Materialverschwendung, kostspieligen Nacharbeiten oder dazu, dass mangelhafte Produkte bei Kunden ankommen. Durch eine Verringerung der Latenz können Hersteller die Qualitätskontrolle verbessern, die Effizienz steigern und Verluste senken.

So lässt sich die Inferenzlatenz verringern#

Bei vielen Computer-Vision-Anwendungen muss die Inferenzlatenz möglichst gering sein. Dafür gibt es verschiedene Verfahren. Sehen wir uns einige der gängigsten Methoden zur Verringerung der Inferenzlatenz an.

Modellbeschneidung#

Modellbeschneidung vereinfacht ein neuronales Netz, indem unnötige Verbindungen (Gewichte) entfernt werden. Dadurch wird das Netz kleiner und schneller. Dieses Verfahren verringert den Rechenaufwand des Modells und steigert die Geschwindigkeit, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Indem nur die wichtigsten Verbindungen erhalten bleiben, ermöglicht die Modellbeschneidung eine effiziente Inferenz und bessere Leistung – insbesondere auf Geräten mit begrenzter Rechenleistung. Sie wird häufig in Echtzeitanwendungen wie mobiler KI, Robotik und Edge Computing eingesetzt, um die Effizienz zu steigern und gleichzeitig die Zuverlässigkeit zu erhalten.

Abb. 2. Weniger effektive Verbindungen mithilfe der Modellbeschneidung entfernen.

Modellquantisierung#

Modellquantisierung beschleunigt KI-Modelle und verringert ihren Speicherbedarf, indem die für Berechnungen verwendeten Zahlen vereinfacht werden. Normalerweise arbeiten diese Modelle mit 32-Bit-Gleitkommazahlen, die sehr präzise sind, aber viel Rechenleistung erfordern. Bei der Quantisierung werden diese Zahlen in 8-Bit-Ganzzahlen umgewandelt, die sich einfacher verarbeiten lassen und weniger Speicherplatz benötigen.

Abb. 3. Mithilfe der Modellquantisierung Gleitkommawerte in Ganzzahldarstellungen umwandeln.

Effiziente Modelle verwenden#

Der Aufbau eines KI-Modells hat großen Einfluss darauf, wie schnell es Vorhersagen treffen kann. Modelle wie Ultralytics YOLO11, die für eine effiziente Inferenz entwickelt wurden, eignen sich ideal für Anwendungen, bei denen die Verarbeitungsgeschwindigkeit entscheidend ist.

Wenn du eine KI-Lösung entwickelst, solltest du das passende Modell anhand der verfügbaren Ressourcen und Leistungsanforderungen auswählen. Wenn du mit einem zu umfangreichen Modell beginnst, treten mit größerer Wahrscheinlichkeit Probleme wie langsame Verarbeitungszeiten, höherer Stromverbrauch und Schwierigkeiten bei der Bereitstellung auf Geräten mit begrenzten Ressourcen auf. Ein leichtgewichtiges Modell sorgt für einen reibungslosen Betrieb, insbesondere bei Echtzeit- und Edge-Anwendungen.

Geschwindigkeit und Genauigkeit: Inferenzen in Echtzeit optimieren#

Zur Verringerung der Latenz gibt es verschiedene Verfahren. Ein wichtiger Aspekt von Inferenzen in Echtzeit ist jedoch das richtige Verhältnis zwischen Geschwindigkeit und Genauigkeit. Es reicht nicht, Modelle schneller zu machen – die Inferenzgeschwindigkeit muss optimiert werden, ohne die Genauigkeit zu beeinträchtigen. Ein System, das zwar schnell, aber falsche Vorhersagen liefert, ist nutzlos. Deshalb sind gründliche Tests unerlässlich, um sicherzustellen, dass Modelle unter realen Bedingungen gut funktionieren. Ein System, das bei Tests schnell wirkt, unter tatsächlichen Bedingungen aber versagt, ist nicht wirklich optimiert.

Vision-AI-Anwendungen mit Echtzeit-Inferenz#

Sehen wir uns nun einige Anwendungen aus der Praxis an, bei denen Echtzeit-Inferenz Branchen verändert, indem sie sofortige Reaktionen auf visuelle Eingaben ermöglicht.

Selbstbedienungskassen im Einzelhandel#

Computer-Vision-Modelle wie Ultralytics YOLO11 können Selbstbedienungskassen verbessern, indem sie Artikel schneller und genauer erkennen. Dank der Unterstützung verschiedener Computer-Vision-Aufgaben wie Objekterkennung und Instanzsegmentierung kann YOLO11 Produkte auch dann identifizieren, wenn Barcodes fehlen oder beschädigt sind. Vision AI kann den Bedarf an manueller Eingabe verringern und den Kassiervorgang beschleunigen.

Neben der Produkterkennung lässt sich Computer Vision auch in Selbstbedienungskassen integrieren, um Preise zu überprüfen, Betrug zu verhindern und den Einkauf komfortabler zu machen. KI-gestützte Kameras können ähnliche Produkte automatisch unterscheiden und verdächtiges Verhalten an der Kasse erkennen. Dazu gehört das Erkennen von „Nicht-Scans“, bei denen Kundinnen und Kunden oder Kassenpersonal versehentlich einen Artikel nicht scannen, ebenso wie gezieltere Betrugsversuche, etwa das „Vertauschen von Produkten“, bei dem ein günstigerer Barcode über einen teureren Artikel geklebt wird.

Abb. 4 KI kann Selbstbedienungskassen verbessern.

Ein gutes Beispiel dafür ist Kroger, ein großer US-amerikanischer Einzelhändler, der Computer Vision und KI in seine Selbstbedienungskassen integriert hat. Mithilfe der Echtzeit-Videoanalyse konnte Kroger mehr als 75 % der Fehler beim Kassiervorgang automatisch korrigieren und so sowohl das Kundenerlebnis als auch die Abläufe in den Filialen verbessern.

Qualitätsprüfung mit Computer Vision#

Die manuelle Prüfung von Produkten zur Qualitätssicherung kann langsam und nicht immer zuverlässig sein. Deshalb setzen immer mehr Hersteller auf visuelle Prüfabläufe, bei denen Computer Vision Fehler früher im Produktionsprozess erkennt.

Hochauflösende Kameras und Vision AI können winzige Mängel erkennen, die Menschen möglicherweise übersehen. Modelle wie Ultralytics YOLO11 können Echtzeit-Qualitätsprüfungen, Sortierung und Zählung unterstützen, damit nur einwandfreie Produkte bei den Kundinnen und Kunden ankommen. Die Automatisierung dieses Prozesses spart Zeit, senkt Kosten und reduziert Abfall – so wird die Produktion reibungsloser und effizienter.

Abb. 5 Beispiel für das Zählen von Produkten auf einem Fließband mit Ultralytics YOLO11.

Die wichtigsten Erkenntnisse#

Echtzeit-Inferenz ermöglicht KI-Modellen sofortige Entscheidungen, was in vielen Branchen entscheidend ist. Ob ein selbstfahrendes Auto einen Unfall vermeidet, eine Ärztin oder ein Arzt medizinische Aufnahmen rasch analysiert oder eine Fabrik Produktfehler erkennt: Schnelle und präzise KI-Reaktionen machen einen großen Unterschied.

Indem wir die Geschwindigkeit und Effizienz von KI-Modellen verbessern, können wir intelligentere und zuverlässigere Systeme entwickeln, die in der Praxis verlässlich funktionieren. Mit dem technologischen Fortschritt werden KI-Lösungen in Echtzeit die Zukunft weiterhin prägen und alltägliche Abläufe schneller, sicherer und effizienter machen.

Weitere Informationen findest du in unserem GitHub-Repository und im Austausch mit unserer Community. Entdecke auf unseren Lösungsseiten Innovationen in Bereichen wie KI für selbstfahrende Autos und Computer Vision in der Landwirtschaft. Informiere dich über unsere Lizenzoptionen und setze deine Vision-AI-Projekte um.