Real-time Inference

Echtzeit-Inferenz bezeichnet den Prozess, bei dem ein trainiertes Machine Learning (ML)-Modell Live-Eingabedaten akzeptiert und fast augenblicklich Vorhersagen generiert. Im Gegensatz zur Offline-Verarbeitung, bei der Daten gesammelt und zu einem späteren Zeitpunkt gesammelt analysiert werden, findet die Echtzeit-Inferenz „on the fly“ statt, was es Systemen ermöglicht, schnell und agil auf ihre Umgebung zu reagieren. Diese Fähigkeit ist das Herzstück moderner Artificial Intelligence (AI)-Anwendungen und ermöglicht es Geräten, Daten innerhalb von Millisekunden wahrzunehmen, zu interpretieren und darauf zu reagieren.

Link to this sectionDie Bedeutung geringer Latenz#

Die wichtigste Kennzahl zur Bewertung der Echtzeit-Performance ist die Inferenzlatenz. Diese misst die Zeitverzögerung zwischen dem Moment, in dem Daten in das Modell eingegeben werden – wie etwa ein Bild von einer Videokamera – und dem Moment, in dem das Modell eine Ausgabe erzeugt, wie beispielsweise eine Bounding Box oder ein Klassifizierungs-Label. Damit eine Anwendung als „Echtzeit“ gilt, muss die Latenz niedrig genug sein, um mit der Geschwindigkeit des eingehenden Datenstroms Schritt zu halten.

Zum Beispiel hat das System bei Aufgaben der Videoanalyse, die mit 30 Bildern pro Sekunde (FPS) laufen, ein striktes Zeitbudget von etwa 33 Millisekunden für die Verarbeitung jedes Bildes. Dauert die Inferenz länger, führt das System Verzögerungen ein, was potenziell zu verworfenen Bildern oder verzögerten Reaktionen führen kann. Dies zu erreichen erfordert oft Hardwarebeschleunigung mittels GPUs oder spezialisierten Edge AI-Geräten wie dem NVIDIA Jetson.

Link to this sectionEchtzeit-Inferenz vs. Batch-Inferenz#

Es ist hilfreich, Echtzeit-Workflows von der Stapelverarbeitung zu unterscheiden. Obwohl beide Vorhersagen generieren, unterscheiden sich ihre Ziele und Architekturen erheblich:

• Echtzeit-Inferenz: Priorisiert niedrige Latenz. Sie verarbeitet einzelne Datenpunkte (oder sehr kleine Batches), sobald sie eintreffen. Dies ist unerlässlich für interaktive Anwendungen wie autonome Fahrzeuge, bei denen ein Auto sofort einen Fußgänger erkennen muss, um rechtzeitig zu bremsen.
• Batch-Inferenz: Priorisiert hohen Durchsatz. Sie sammelt ein großes Datenvolumen und verarbeitet alles auf einmal. Dies eignet sich für Aufgaben, die keine sofortige Reaktion erfordern, wie etwa das Erstellen nächtlicher Bestandsberichte oder die Analyse historischer Big Data-Trends.

Link to this sectionPraxisanwendungen#

Die Fähigkeit, Entscheidungen in Sekundenbruchteilen zu treffen, hat verschiedene Branchen verändert, indem sie Automatisierung in dynamischen Umgebungen ermöglicht.

• Smarte Fertigung: Bei KI in der Fertigung verwenden Kameras über Förderbändern Echtzeit-Inferenz zur automatisierten Qualitätskontrolle. Ein Objekterkennungs-Modell kann Defekte oder Fremdkörper in Produkten, die sich mit hoher Geschwindigkeit bewegen, sofort identifizieren. Wird eine Anomalie erkannt, löst das System einen Roboterarm aus, um den Artikel sofort zu entfernen, damit nur hochwertige Waren in die Verpackung gelangen.
• Überwachung und Sicherheit: Moderne Sicherheitssysteme setzen auf Computer Vision, um Gelände zu überwachen. Anstatt nur Filmmaterial aufzuzeichnen, führen diese Kameras in Echtzeit eine Personenerkennung oder Gesichtserkennung durch, um Sicherheitspersonal bei unbefugtem Zugriff sofort zu alarmieren.
• Robotik: Im Bereich KI in der Robotik nutzen Roboter Pose Estimation, um komplexe physische Räume zu navigieren. Ein Lagerroboter muss kontinuierlich die Position von Hindernissen und menschlichen Mitarbeitern ableiten, um seinen Pfad sicher und effizient zu planen.

Link to this sectionOptimierung und Bereitstellung#

Die Bereitstellung von Modellen für Echtzeitanwendungen erfordert oft eine Optimierung, um sicherzustellen, dass sie effizient auf der Zielhardware laufen. Techniken wie die Modellquantisierung reduzieren die Präzision der Modellgewichte (z. B. von float32 auf int8), um den Speicherbedarf zu senken und die Inferenzgeschwindigkeit mit minimalen Auswirkungen auf die Genauigkeit zu erhöhen.

Entwickler können die Ultralytics Platform nutzen, um diesen Prozess zu rationalisieren. Die Plattform vereinfacht das Training und ermöglicht es Benutzern, Modelle in optimierte Formate zu exportieren, wie TensorRT für NVIDIA GPUs, OpenVINO für Intel CPUs oder TFLite für die mobile Bereitstellung.

Link to this sectionCode-Beispiel#

Das folgende Python-Snippet zeigt, wie man Echtzeit-Inferenz auf einem Webcam-Feed mithilfe der ultralytics-Bibliothek ausführt. Es verwendet das YOLO26-Nano-Modell, das speziell für Hochgeschwindigkeitsleistung auf Edge-Geräten entwickelt wurde.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")