Echtzeit-Inferenzen in Vision AI-Lösungen zeigen Wirkung

Wir alle haben uns schon einmal über die Frustration geärgert, die eine langsame Internetverbindung verursachen kann. Stell dir jedoch diese Verzögerung in einer Situation mit hohem Risiko vor, wie bei einem selbstfahrenden Auto, das auf ein Hindernis reagiert, oder bei einem Arzt, der einen kritischen Scan analysiert. Ein paar Sekunden mehr können ernsthafte Konsequenzen haben.

Hier kann die KI-Inferenz in Echtzeit den entscheidenden Unterschied ausmachen. Schnelle Verarbeitung und Echtzeit-Vorhersagen ermöglichen es computer vision-Lösungen, visuelle Daten sofort zu verarbeiten und darauf zu reagieren. Diese bruchteilsekundengenauen Entscheidungen können die Sicherheit, Effizienz und den alltäglichen Komfort erhöhen.

Betrachte zum Beispiel einen Chirurgen, der einen heiklen Eingriff mit einem Roboterassistenten durchführt. Jede Bewegung wird über eine Hochgeschwindigkeitsverbindung gesteuert, und das Vision-System des Roboters verarbeitet das Operationsfeld in Echtzeit, was dem Chirurgen sofortiges visuelles Feedback gibt. Schon die geringste Verzögerung in diesem Feedback-Loop könnte zu schwerwiegenden Fehlern führen und den Patienten gefährden. Dies ist ein perfektes Beispiel dafür, warum Echtzeit-Inferenz entscheidend ist; es gibt keinen Spielraum für Latenz.

KI-Inferenz in realen Anwendungen hängt von drei Schlüsselkonzepten ab: Inferenz-Engines (die Software oder Hardware, die KI-Modelle effizient ausführt), Inferenzlatenz (die Verzögerung zwischen Eingabe und Ausgabe) und Echtzeit-Inferenz (die Fähigkeit des KI-Systems, mit minimaler Verzögerung zu verarbeiten und zu reagieren).

In diesem Artikel werden wir diese Kernkonzepte untersuchen und erläutern, wie Computer-Vision-Modelle wie Ultralytics YOLO11 Anwendungen ermöglichen, die auf sofortigen Vorhersagen basieren.

Was ist eine KI-Inferenz?#

Das Ausführen einer Inferenz ist der Prozess, bei dem neue Daten mithilfe eines trainierten KI-Modells analysiert werden, um eine Vorhersage zu treffen oder eine Aufgabe zu lösen. Im Gegensatz zum Training, bei dem ein Modell durch die Verarbeitung großer Mengen gelabelter Daten gelehrt wird, konzentriert sich die Inferenz darauf, schnell und präzise Ergebnisse mithilfe eines bereits trainierten Modells zu liefern.

Fig 1. Verstehen, was Inferenz bedeutet.

In der Wildtierkönserierung nutzen beispielsweise AI camera-Fallen Computer-Vision-Modelle, um Tiere in Echtzeit zu identifizieren und zu klassifizieren. Wenn eine Kamera eine Bewegung erfasst, erkennt das KI-Modell sofort, ob es sich um ein Reh, ein Raubtier oder sogar einen Wilderer handelt, und hilft Forschern dabei, Tierpopulationen zu verfolgen und gefährdete Arten ohne menschliches Eingreifen zu schützen. Diese schnelle Identifizierung macht eine Echtzeit-Überwachung und schnellere Reaktionen auf potenzielle Bedrohungen möglich.

Inferenz-Engines verstehen#

Ein trainiertes Modell für maschinelles Lernen ist in seiner Rohform nicht immer bereit für die Bereitstellung. Eine inference engine ist ein spezialisiertes Software- oder Hardware-Tool, das entwickelt wurde, um Modelle des maschinellen Lernens effizient auszuführen und für den realen Einsatz zu optimieren. Sie verwendet optimization techniques wie Modellkomprimierung, Quantisierung und Graphtransformationen, um die Leistung zu verbessern und den Ressourcenverbrauch zu reduzieren, wodurch das Modell in verschiedenen Umgebungen bereitgestellt werden kann.

Im Kern konzentriert sich eine Inferenz-Engine darauf, den Rechenaufwand zu reduzieren, die Latenz zu minimieren und die Effizienz zu steigern, um schnelle und präzise Vorhersagen zu ermöglichen. Sobald es optimiert ist, führt die Engine das Modell auf neuen Daten aus, sodass es effizient Echtzeit-Inferenzen generieren kann. Diese Optimierung stellt sicher, dass KI-Modelle sowohl auf Hochleistungs-Cloud-Servern als auch auf ressourcenbeschränkten Edge-Geräten wie Smartphones, IoT-Geräten und eingebetteten Systemen reibungslos laufen können.

Probleme durch Inferenzlatenz#

Inference latency ist die Zeitverzögerung zwischen dem Zeitpunkt, zu dem ein KI-System Eingabedaten empfängt (wie ein Bild von einer Kamera), und dem Zeitpunkt, zu dem es ein Ergebnis ausgibt (wie das Erkennen von Objekten im Bild). Selbst eine kleine Verzögerung kann die Leistung und Benutzerfreundlichkeit von Echtzeit-KI-Anwendungen erheblich beeinträchtigen.

Inferenzlatenz tritt in drei Schlüsselphasen auf:

• Vorverarbeitungszeit: Die benötigte Zeit, um Eingabedaten vorzubereiten, bevor sie in das Modell eingespeist werden. Dazu gehört das Ändern der Bildgröße an die Eingabedimensionen des Modells, das Normalisieren von Pixelwerten für eine bessere Genauigkeit und das Konvertieren von Formaten (z. B. RGB in Graustufen oder Video in Frame-Sequenzen).
• Berechnungszeit: Die tatsächliche Zeit, die das Modell für die Inferenz benötigt. Dies beinhaltet Operationen wie schichtweise Berechnungen in tiefen Netzwerken, Matrixmultiplikationen, Faltungen sowie den Datentransfer zwischen Speicher und Verarbeitungseinheiten.
• Nachverarbeitungszeit: Die erforderliche Zeit, um Rohausgaben des Modells in aussagekräftige Ergebnisse umzuwandeln. Dies kann das Zeichnen von Bounding Boxes bei der Objekterkennung, das Filtern von Fehlalarmen bei der Bilderkennung oder das Anwenden von Schwellenwerten bei der Anomalieerkennung umfassen.

Inferenzlatenz ist bei Echtzeitanwendungen entscheidend. Zum Beispiel kann in der automatisierten Fehlererkennung an einem Fließband Computer Vision verwendet werden, um Produkte zu prüfen, während sie auf dem Förderband transportiert werden.

Das System muss Fehler schnell identifizieren und kennzeichnen, bevor die Produkte die nächste Stufe erreichen. Wenn das Modell zu lange für die Bildverarbeitung benötigt, könnten fehlerhafte Artikel nicht rechtzeitig erkannt werden, was zu Materialverschwendung, kostspieliger Nacharbeit oder fehlerhaften Produkten führt, die den Kunden erreichen. Durch die Reduzierung der Latenz können Hersteller die Qualitätskontrolle verbessern, die Effizienz steigern und Verluste reduzieren.

So reduzierst du Inferenzlatenz#

Die Minimierung der Inferenzlatenz ist in vielen Computer-Vision-Anwendungen essenziell. Es gibt verschiedene Techniken, um dies zu erreichen. Lass uns einige der gängigsten Techniken besprechen, die zur Reduzierung der Inferenzlatenz eingesetzt werden.

Modell-Pruning#

Model pruning vereinfacht ein neuronales Netzwerk, indem unnötige Verbindungen (Gewichte) entfernt werden, wodurch es kleiner und schneller wird. Dieser Prozess reduziert die Rechenlast des Modells und verbessert die Geschwindigkeit, ohne die Genauigkeit zu stark zu beeinträchtigen.

Indem nur die wichtigsten Verbindungen beibehalten werden, sorgt Pruning für eine effiziente Inferenz und bessere Leistung, insbesondere auf Geräten mit begrenzter Rechenleistung. Es wird häufig in Echtzeitanwendungen wie mobiler KI, Robotik und Edge Computing eingesetzt, um die Effizienz zu steigern und gleichzeitig die Zuverlässigkeit zu wahren.

Fig 2. Beseitigung weniger effektiver Verbindungen durch Model pruning.

Modell-Quantisierung#

Model quantization ist eine Technik, die KI-Modelle schneller laufen lässt und weniger Speicher verbraucht, indem die für Berechnungen verwendeten Zahlen vereinfacht werden. Normalerweise arbeiten diese Modelle mit Gleitkommazahlen mit einfacher Genauigkeit (32-Bit), die sehr präzise sind, aber viel Rechenleistung erfordern. Die Quantisierung reduziert diese Zahlen auf 8-Bit-Ganzzahlen, die einfacher zu verarbeiten sind und weniger Platz beanspruchen.

Fig 3. Verwendung von Model quantization zur Konvertierung von Gleitkommawerten in Ganzzahldarstellungen.

Verwendung effizienter Modelle#

Das Design eines KI-Modells hat einen großen Einfluss darauf, wie schnell es Vorhersagen treffen kann. Modelle wie Ultralytics YOLO11, die für effiziente Inferenz entwickelt wurden, sind ideal für Anwendungen, bei denen die Verarbeitungsgeschwindigkeit entscheidend ist.

Wenn du eine KI-Lösung entwickelst, ist es wichtig, das richtige Modell basierend auf den verfügbaren Ressourcen und Leistungsanforderungen auszuwählen. Wenn du mit einem zu schweren Modell beginnst, ist die Wahrscheinlichkeit höher, dass Probleme wie langsame Verarbeitungszeiten, höherer Stromverbrauch und Schwierigkeiten bei der Bereitstellung auf ressourcenbeschränkten Geräten auftreten. Ein leichtgewichtiges Modell sorgt für reibungslose Leistung, insbesondere bei Echtzeit- und Edge-Anwendungen.

Geschwindigkeit vs. Genauigkeit: Echtzeit-Inferenzen optimieren#

Obwohl es verschiedene Techniken gibt, um die Latenz zu reduzieren, ist ein wesentlicher Bestandteil von real-time inferences die Balance zwischen Geschwindigkeit und Genauigkeit. Es reicht nicht aus, Modelle schneller zu machen – die Inferenzgeschwindigkeit muss optimiert werden, ohne die Genauigkeit zu beeinträchtigen. Ein System, das schnelle, aber falsche Vorhersagen liefert, ist wirkungslos. Deshalb sind gründliche Tests von entscheidender Bedeutung, um sicherzustellen, dass die Modelle in realen Situationen eine gute Leistung erbringen. Ein System, das während der Tests schnell erscheint, aber unter realen Bedingungen versagt, ist nicht wirklich optimiert.

Vision-AI-Anwendungen, die Echtzeit-Inferenz nutzen#

Gehen wir als Nächstes einige reale Anwendungen durch, bei denen die Echtzeit-Inferenz Industrien verändert, indem sie sofortige Reaktionen auf visuelle Eingaben ermöglicht.

Self-Checkout-Systeme im Einzelhandel#

Computer-Vision-Modelle wie Ultralytics YOLO11 können dazu beitragen, Selbstkassensysteme zu verbessern, indem sie die Artenerkennung schneller und präziser machen. Die Unterstützung von YOLO11 für verschiedene Computer-Vision-Aufgaben wie Objekterkennung und Instanzsegmentierung ermöglicht es, Produkte auch dann zu identifizieren, wenn Barcodes fehlen oder beschädigt sind. Vision AI kann den Bedarf an manueller Eingabe reduzieren und den Kassenprozess beschleunigen.

Über die Produktidentifikation hinaus kann Computer Vision auch in Self-Checkout-Systeme integriert werden, um Preise zu verifizieren, Betrug zu verhindern und den Kundenkomfort zu erhöhen. KI-gestützte Kameras können automatisch zwischen ähnlichen Produkten unterscheiden und verdächtiges Verhalten an der Kasse erkennen. Dies umfasst das Identifizieren von "Nicht-Scans", bei denen ein Kunde oder Kassierer versehentlich einen Artikel übersieht, sowie gezieltere Betrugsversuche wie "Produktwechsel", bei denen ein billigerer Barcode über ein teureres Produkt geklebt wird.

Fig 4. KI kann Selbstbedienungskassen verbessern.

Ein hervorragendes Beispiel dafür ist Kroger, ein großer US-Händler, der Computer Vision und KI in seine Self-Checkout-Systeme integriert hat. Durch die Verwendung von Videoanalyse in Echtzeit konnte Kroger über 75 % der Kassenfehler automatisch korrigieren, was sowohl die Kundenerfahrung als auch den Filialbetrieb verbessert.

Qualitätskontrolle mittels Computer Vision#

Das manuelle inspecting products zur Qualitätskontrolle kann langsam sein und ist nicht immer genau. Aus diesem Grund wechseln immer mehr Hersteller zu visuellen Inspektionsabläufen, die Computer Vision nutzen, um Mängel früher im Produktionsprozess zu erkennen.

Hochauflösende Kameras und Vision AI können winzige Mängel erkennen, die Menschen übersehen könnten, und Modelle wie Ultralytics YOLO11 können bei Qualitätsprüfungen, beim Sortieren und beim Zählen in Echtzeit helfen, um sicherzustellen, dass nur perfekte Produkte zu den Kunden gelangen. Die Automatisierung dieses Prozesses spart Zeit, senkt die Kosten und reduziert Abfall, wodurch die Produktion reibungsloser und effizienter wird.

Fig 5. Ein Beispiel für die Verwendung von Ultralytics YOLO11 zum Zählen von Produkten an einer Montageband.

Wichtige Erkenntnisse#

Echtzeit-Inferenz hilft KI-Modellen, sofortige Entscheidungen zu treffen, was in vielen Branchen entscheidend ist. Ob es ein selbstfahrendes Auto ist, das einen Unfall vermeidet, ein Arzt, der medizinische Scans schnell analysiert, oder eine Fabrik, die Produktfehler erkennt – schnelle und genaue KI-Reaktionen machen einen großen Unterschied.

Durch die Verbesserung der Geschwindigkeit und Effizienz von KI-Modellen können wir intelligentere, zuverlässigere Systeme schaffen, die in realen Situationen nahtlos funktionieren. Mit dem technologischen Fortschritt werden Echtzeit-KI-Lösungen weiterhin die Zukunft gestalten und alltägliche Prozesse schneller, sicherer und effizienter machen.

Besuche unser GitHub repository und tausche dich mit our community aus, um mehr zu erfahren. Entdecke Innovationen in Bereichen wie AI in self-driving cars und computer vision in agriculture auf unseren Lösungsseiten. Schau dir our licensing options an und erwecke deine Vision-AI-Projekte zum Leben.