Echtzeit-Inferenzen in Vision AI-Lösungen zeigen Wirkung

Wir alle haben uns schon einmal über die Frustration geärgert, die eine langsame Internetverbindung verursachen kann. Stell dir jedoch diese Verzögerung in einer Situation mit hohem Risiko vor, wie bei einem selbstfahrenden Auto, das auf ein Hindernis reagiert, oder bei einem Arzt, der einen kritischen Scan analysiert. Ein paar Sekunden mehr können ernsthafte Konsequenzen haben.

Genau hier kann Echtzeit-KI-Inferenz den Unterschied ausmachen. Schnelle Verarbeitung und Echtzeit-Vorhersagen ermöglichen es Computer Vision-Lösungen, visuelle Daten sofort zu verarbeiten und darauf zu reagieren. Diese Entscheidungen in Sekundenbruchteilen können Sicherheit, Effizienz und den täglichen Komfort steigern.

Betrachte zum Beispiel einen Chirurgen, der einen heiklen Eingriff mit einem Roboterassistenten durchführt. Jede Bewegung wird über eine Hochgeschwindigkeitsverbindung gesteuert, und das Vision-System des Roboters verarbeitet das Operationsfeld in Echtzeit, was dem Chirurgen sofortiges visuelles Feedback gibt. Schon die geringste Verzögerung in diesem Feedback-Loop könnte zu schwerwiegenden Fehlern führen und den Patienten gefährden. Dies ist ein perfektes Beispiel dafür, warum Echtzeit-Inferenz entscheidend ist; es gibt keinen Spielraum für Latenz.

KI-Inferenz in realen Anwendungen hängt von drei Schlüsselkonzepten ab: Inferenz-Engines (die Software oder Hardware, die KI-Modelle effizient ausführt), Inferenzlatenz (die Verzögerung zwischen Eingabe und Ausgabe) und Echtzeit-Inferenz (die Fähigkeit des KI-Systems, mit minimaler Verzögerung zu verarbeiten und zu reagieren).

In diesem Artikel werden wir diese Kernkonzepte untersuchen und erläutern, wie Computer-Vision-Modelle wie Ultralytics YOLO11 Anwendungen ermöglichen, die auf sofortigen Vorhersagen basieren.

Link to this sectionWas ist eine KI-Inferenz?#

Das Ausführen einer Inferenz ist der Prozess, bei dem neue Daten mithilfe eines trainierten KI-Modells analysiert werden, um eine Vorhersage zu treffen oder eine Aufgabe zu lösen. Im Gegensatz zum Training, bei dem ein Modell durch die Verarbeitung großer Mengen gelabelter Daten gelehrt wird, konzentriert sich die Inferenz darauf, schnell und präzise Ergebnisse mithilfe eines bereits trainierten Modells zu liefern.

Abb. 1. Verständnis, was Inferenz bedeutet.

Im Naturschutz beispielsweise nutzen KI-Kamera-Fallen Computer-Vision-Modelle, um Tiere in Echtzeit zu identifizieren und zu klassifizieren. Wenn eine Kamera eine Bewegung erkennt, erkennt das KI-Modell sofort, ob es sich um ein Reh, ein Raubtier oder sogar einen Wilderer handelt. Dies hilft Forschern, Tierpopulationen zu verfolgen und gefährdete Arten ohne menschliches Eingreifen zu schützen. Diese schnelle Identifizierung macht Echtzeit-Überwachung und schnellere Reaktionen auf potenzielle Bedrohungen möglich.

Link to this sectionInferenz-Engines verstehen#

Ein trainiertes Machine-Learning-Modell ist in seiner Rohform nicht immer bereit für den Einsatz. Eine Inferenz-Engine ist ein spezialisiertes Software- oder Hardware-Tool, das entwickelt wurde, um Machine-Learning-Modelle effizient auszuführen und für den realen Einsatz zu optimieren. Sie verwendet Optimierungstechniken wie Modellkomprimierung, Quantisierung und Graphentransformationen, um die Leistung zu verbessern und den Ressourcenverbrauch zu senken, wodurch das Modell in verschiedenen Umgebungen einsetzbar wird.

Im Kern konzentriert sich eine Inferenz-Engine darauf, den Rechenaufwand zu reduzieren, die Latenz zu minimieren und die Effizienz zu steigern, um schnelle und präzise Vorhersagen zu ermöglichen. Sobald es optimiert ist, führt die Engine das Modell auf neuen Daten aus, sodass es effizient Echtzeit-Inferenzen generieren kann. Diese Optimierung stellt sicher, dass KI-Modelle sowohl auf Hochleistungs-Cloud-Servern als auch auf ressourcenbeschränkten Edge-Geräten wie Smartphones, IoT-Geräten und eingebetteten Systemen reibungslos laufen können.

Link to this sectionProbleme durch Inferenzlatenz#

Inferenzlatenz ist die Zeitverzögerung zwischen dem Zeitpunkt, an dem ein KI-System Eingabedaten empfängt (z. B. ein Bild von einer Kamera), und dem Zeitpunkt, an dem es eine Ausgabe erzeugt (z. B. das Erkennen von Objekten im Bild). Selbst eine geringe Verzögerung kann die Leistung und Nutzbarkeit von Echtzeit-KI-Anwendungen erheblich beeinträchtigen.

Inferenzlatenz tritt in drei Schlüsselphasen auf:

• Vorverarbeitungszeit: Die benötigte Zeit, um Eingabedaten vorzubereiten, bevor sie in das Modell eingespeist werden. Dazu gehört das Ändern der Bildgröße an die Eingabedimensionen des Modells, das Normalisieren von Pixelwerten für eine bessere Genauigkeit und das Konvertieren von Formaten (z. B. RGB in Graustufen oder Video in Frame-Sequenzen).
• Berechnungszeit: Die tatsächliche Zeit, die das Modell für die Inferenz benötigt. Dies beinhaltet Operationen wie schichtweise Berechnungen in tiefen Netzwerken, Matrixmultiplikationen, Faltungen sowie den Datentransfer zwischen Speicher und Verarbeitungseinheiten.
• Nachverarbeitungszeit: Die erforderliche Zeit, um Rohausgaben des Modells in aussagekräftige Ergebnisse umzuwandeln. Dies kann das Zeichnen von Bounding Boxes bei der Objekterkennung, das Filtern von Fehlalarmen bei der Bilderkennung oder das Anwenden von Schwellenwerten bei der Anomalieerkennung umfassen.

Inferenzlatenz ist bei Echtzeitanwendungen entscheidend. Zum Beispiel kann in der automatisierten Fehlererkennung an einem Fließband Computer Vision verwendet werden, um Produkte zu prüfen, während sie auf dem Förderband transportiert werden.

Das System muss Fehler schnell identifizieren und kennzeichnen, bevor die Produkte die nächste Stufe erreichen. Wenn das Modell zu lange für die Bildverarbeitung benötigt, könnten fehlerhafte Artikel nicht rechtzeitig erkannt werden, was zu Materialverschwendung, kostspieliger Nacharbeit oder fehlerhaften Produkten führt, die den Kunden erreichen. Durch die Reduzierung der Latenz können Hersteller die Qualitätskontrolle verbessern, die Effizienz steigern und Verluste reduzieren.

Link to this sectionSo reduzierst du Inferenzlatenz#

Die Minimierung der Inferenzlatenz ist in vielen Computer-Vision-Anwendungen essenziell. Es gibt verschiedene Techniken, um dies zu erreichen. Lass uns einige der gängigsten Techniken besprechen, die zur Reduzierung der Inferenzlatenz eingesetzt werden.

Link to this sectionModell-Pruning#

Model Pruning vereinfacht ein neuronales Netzwerk, indem unnötige Verbindungen (Gewichte) entfernt werden, wodurch es kleiner und schneller wird. Dieser Prozess reduziert die Rechenlast des Modells und verbessert die Geschwindigkeit, ohne die Genauigkeit zu sehr zu beeinträchtigen.

Indem nur die wichtigsten Verbindungen beibehalten werden, sorgt Pruning für eine effiziente Inferenz und bessere Leistung, insbesondere auf Geräten mit begrenzter Rechenleistung. Es wird häufig in Echtzeitanwendungen wie mobiler KI, Robotik und Edge Computing eingesetzt, um die Effizienz zu steigern und gleichzeitig die Zuverlässigkeit zu wahren.

Abb. 2. Eliminierung weniger effektiver Verbindungen durch Modell-Pruning.

Link to this sectionModell-Quantisierung#

Model Quantization ist eine Technik, die KI-Modelle schneller macht und weniger Speicher verbraucht, indem die Zahlen, die sie für Berechnungen verwenden, vereinfacht werden. Normalerweise arbeiten diese Modelle mit 32-Bit-Gleitkommazahlen, die sehr präzise sind, aber viel Rechenleistung erfordern. Die Quantisierung reduziert diese Zahlen auf 8-Bit-Ganzzahlen, die einfacher zu verarbeiten sind und weniger Platz beanspruchen.

Abb. 3. Verwendung von Modell-Quantisierung zur Konvertierung von Gleitkommawerten in Ganzzahldarstellungen.

Link to this sectionVerwendung effizienter Modelle#

Das Design eines KI-Modells hat einen großen Einfluss darauf, wie schnell es Vorhersagen treffen kann. Modelle wie YOLO11, die für effiziente Inferenz gebaut sind, sind ideal für Anwendungen, bei denen die Verarbeitungsgeschwindigkeit entscheidend ist.

Wenn du eine KI-Lösung entwickelst, ist es wichtig, das richtige Modell basierend auf den verfügbaren Ressourcen und Leistungsanforderungen auszuwählen. Wenn du mit einem zu schweren Modell beginnst, ist die Wahrscheinlichkeit höher, dass Probleme wie langsame Verarbeitungszeiten, höherer Stromverbrauch und Schwierigkeiten bei der Bereitstellung auf ressourcenbeschränkten Geräten auftreten. Ein leichtgewichtiges Modell sorgt für reibungslose Leistung, insbesondere bei Echtzeit- und Edge-Anwendungen.

Link to this sectionGeschwindigkeit vs. Genauigkeit: Echtzeit-Inferenzen optimieren#

Während es verschiedene Techniken zur Reduzierung der Latenz gibt, besteht ein wesentlicher Teil der Echtzeit-Inferenz darin, Geschwindigkeit und Genauigkeit in Einklang zu bringen. Modelle schneller zu machen reicht nicht aus - die Inferenzgeschwindigkeit muss optimiert werden, ohne die Genauigkeit zu beeinträchtigen. Ein System, das schnelle, aber falsche Vorhersagen trifft, ist ineffektiv. Deshalb ist gründliches Testen unerlässlich, um sicherzustellen, dass die Modelle in realen Situationen gut funktionieren. Ein System, das während des Tests schnell erscheint, aber unter tatsächlichen Bedingungen versagt, ist nicht wirklich optimiert.

Link to this sectionVision-AI-Anwendungen, die Echtzeit-Inferenz nutzen#

Gehen wir als Nächstes einige reale Anwendungen durch, bei denen die Echtzeit-Inferenz Industrien verändert, indem sie sofortige Reaktionen auf visuelle Eingaben ermöglicht.

Link to this sectionSelf-Checkout-Systeme im Einzelhandel#

Computer-Vision-Modelle wie YOLO11 können dazu beitragen, Self-Checkout-Systeme zu verbessern, indem sie die Produkterkennung schneller und genauer machen. Die Unterstützung von YOLO11 für verschiedene Computer-Vision-Aufgaben wie Objekterkennung und Instanzsegmentierung macht es möglich, Produkte zu identifizieren, selbst wenn Barcodes fehlen oder beschädigt sind. Vision AI kann den Bedarf an manueller Eingabe reduzieren und den Bezahlvorgang beschleunigen.

Über die Produktidentifikation hinaus kann Computer Vision auch in Self-Checkout-Systeme integriert werden, um Preise zu verifizieren, Betrug zu verhindern und den Kundenkomfort zu erhöhen. KI-gestützte Kameras können automatisch zwischen ähnlichen Produkten unterscheiden und verdächtiges Verhalten an der Kasse erkennen. Dies umfasst das Identifizieren von "Nicht-Scans", bei denen ein Kunde oder Kassierer versehentlich einen Artikel übersieht, sowie gezieltere Betrugsversuche wie "Produktwechsel", bei denen ein billigerer Barcode über ein teureres Produkt geklebt wird.

Abb. 4. KI kann Self-Checkout-Kassen verbessern.

Ein großartiges Beispiel dafür ist Kroger, ein großer US-Einzelhändler, der Computer Vision und KI in seine Self-Checkout-Systeme integriert hat. Durch die Nutzung von Echtzeit-Videoanalyse konnte Kroger über 75% der Kassenfehler automatisch korrigieren, was sowohl die Kundenerfahrung als auch den Geschäftsbetrieb verbesserte.

Link to this sectionQualitätskontrolle mittels Computer Vision#

Das manuelle Prüfen von Produkten für die Qualitätskontrolle kann langsam und nicht immer genau sein. Deshalb stellen mehr Hersteller auf visuelle Inspektionsabläufe um, die Computer Vision nutzen, um Fehler früher im Produktionsprozess zu erkennen.

Hochauflösende Kameras und Vision AI können winzige Mängel erkennen, die Menschen übersehen könnten, und Modelle wie YOLO11 können bei Qualitätsprüfungen, Sortierungen und Zählungen in Echtzeit helfen, um sicherzustellen, dass nur perfekte Produkte den Kunden erreichen. Die Automatisierung dieses Prozesses spart Zeit, senkt Kosten und reduziert Abfall, was die Produktion reibungsloser und effizienter macht.

Abb. 5. Ein Beispiel für die Verwendung von YOLO11 zum Zählen von Produkten am Fließband.

Link to this sectionWichtige Erkenntnisse#

Echtzeit-Inferenz hilft KI-Modellen, sofortige Entscheidungen zu treffen, was in vielen Branchen entscheidend ist. Ob es ein selbstfahrendes Auto ist, das einen Unfall vermeidet, ein Arzt, der medizinische Scans schnell analysiert, oder eine Fabrik, die Produktfehler erkennt – schnelle und genaue KI-Reaktionen machen einen großen Unterschied.

Durch die Verbesserung der Geschwindigkeit und Effizienz von KI-Modellen können wir intelligentere, zuverlässigere Systeme schaffen, die in realen Situationen nahtlos funktionieren. Mit dem technologischen Fortschritt werden Echtzeit-KI-Lösungen weiterhin die Zukunft gestalten und alltägliche Prozesse schneller, sicherer und effizienter machen.

Um mehr zu erfahren, besuche unser GitHub-Repository und engagiere dich in unserer Community. Entdecke Innovationen in Bereichen wie KI in selbstfahrenden Autos und Computer Vision in der Landwirtschaft auf unseren Lösungsseiten. Schau dir unsere Lizenzoptionen an und erwecke deine Vision-AI-Projekte zum Leben.