Inferenz in Echtzeit

Echtzeit-Inferenz ist der Prozess, bei dem ein trainiertes Modell für maschinelles Lernen (ML) verwendet wird, um mit minimaler Verzögerung Vorhersagen über neue, aktuelle Daten zu treffen. Im Zusammenhang mit künstlicher Intelligenz und Computer Vision (CV) bedeutet dies, dass das System Informationen - wie einen Videostream - verarbeiten und fast sofort eine Ausgabe erzeugen kann. Das Ziel ist es, die Latenzzeit so gering zu halten, dass die Ergebnisse sofort für die Entscheidungsfindung genutzt werden können. Diese Fähigkeit ist von entscheidender Bedeutung für Anwendungen, bei denen das Timing entscheidend ist, und verändert die Art und Weise, wie Branchen von der Automobilindustrie bis zum Gesundheitswesen KI nutzen.

Echtzeit-Inferenz vs. Batch-Inferenz

Es ist wichtig, zwischen Echtzeit-Inferenz und Batch-Inferenz zu unterscheiden. Der Hauptunterschied liegt in der Art und Weise, wie die Daten verarbeitet werden.

• Inferenz in Echtzeit: Verarbeitet Daten, sobald sie generiert oder empfangen werden, in der Regel eine Eingabe oder einen kleinen Datenstrom zur gleichen Zeit. Die Priorität liegt in der Minimierung der Verzögerung(Latenz) zwischen Eingabe und Ausgabe. Dies ist wichtig für interaktive und zeitkritische Systeme.
• Batch-Inferenz: Hierbei werden Daten über einen bestimmten Zeitraum gesammelt und in einem großen Stapel auf einmal verarbeitet. Bei diesem Ansatz liegt der Schwerpunkt auf der Maximierung des Durchsatzes (der in der Zeit verarbeiteten Datenmenge) und nicht auf der Minimierung der Latenzzeit. Die Stapelverarbeitung eignet sich für nicht dringende Aufgaben wie die tägliche Erstellung von Berichten oder die periodische Analyse großer Datenmengen.

Beide verwenden zwar ein trainiertes Modell, um Vorhersagen zu treffen, aber ihre Anwendungsfälle unterscheiden sich grundlegend in Bezug auf die Dringlichkeit der Ergebnisse.

Anwendungen in der realen Welt

Die Fähigkeit, sofortige Entscheidungen zu treffen, ermöglicht eine breite Palette leistungsfähiger Anwendungen in verschiedenen Bereichen.

1. Autonome Systeme: In selbstfahrenden Autos ist die Echtzeit-Inferenz eine Frage der Sicherheit. Modelle müssen Objekte erkennen, um Fußgänger, andere Fahrzeuge und Straßenschilder in Millisekunden zu identifizieren, damit sie sicher navigieren und Kollisionen vermeiden können. Auch Drohnen und Roboter sind für die Navigation und Interaktion mit ihrer Umgebung darauf angewiesen.
2. Intelligente Fertigung: In einer Produktionslinie können mit KI ausgestattete Kameras eine Qualitätskontrolle in Echtzeit durchführen. Ein Modell wie Ultralytics YOLO11 kann Defekte in Produkten erkennen, die sich auf einem Förderband bewegen, und sie sofort beseitigen. Dies ist eine Kernkomponente der modernen KI in der Fertigung.
3. Interaktive Gesundheitsfürsorge: Während eines chirurgischen Eingriffs könnte ein Modell das Live-Video einer Kamera analysieren, um dem Chirurgen in Echtzeit Anweisungen zu geben. In der Diagnostik kann die Echtzeitanalyse medizinischer Bilder Ärzten helfen, Anomalien bei Live-Scans schneller zu erkennen.
4. Intelligente Überwachung: Moderne Sicherheitssysteme analysieren Videobilder in Echtzeit und erkennen potenzielle Bedrohungen, wie z. B. unbefugtes Eindringen oder zurückgelassene Pakete, und lösen sofortige Alarme aus. Dies geht über die einfache Aufzeichnung hinaus und führt zu einer aktiven, intelligenten Überwachung.

Leistung in Echtzeit erreichen

Damit Modelle für Echtzeit-Computing-Anwendungen schnell genug laufen, müssen sie oft erheblich optimiert werden:

• Modell-Optimierung: Techniken wie die Modellquantisierung (Verringerung der Genauigkeit der Modellgewichte) und das Modellpruning (Entfernen redundanter Teile des Modells) verringern die Rechenlast und den Speicherbedarf.
• Hardware-Beschleunigung: Der Einsatz spezialisierter Hardware wie GPUs, TPUs (Tensor Processing Units) oder spezieller KI-Beschleuniger auf Edge-Geräten (z. B. NVIDIA Jetson, Google Coral Edge TPU) kann Berechnungen drastisch beschleunigen. Edge Computing selbst ist entscheidend für die lokale Verarbeitung von Daten mit minimaler Verzögerung.
• Effiziente Inferenz-Engines: Softwarebibliotheken und Laufzeiten wie TensorRT, OpenVINO, ONNX Runtime und Frameworks wie PyTorch oder TensorFlow bieten optimierte Ausführungspfade für trainierte Modelle. Eine Inferenz-Engine ist speziell für die effiziente Ausführung von Modellen zur Vorhersage konzipiert.

Modelle wie Ultralytics YOLO wurden mit Blick auf Effizienz und Genauigkeit entwickelt und eignen sich daher gut für Echtzeit-Objekterkennungsaufgaben. Plattformen wie Ultralytics HUB bieten Tools zum Trainieren, Optimieren (z. B. Export in ONNX- oder TensorRT-Formate) und Bereitstellen von Modellen und erleichtern so die Implementierung von Echtzeit-Inferenzlösungen für verschiedene Einsatzoptionen.