Real-time Inference

Echtzeit-Inferenz bezeichnet den Prozess, bei dem ein trainiertes Machine Learning (ML)-Modell Live-Eingabedaten akzeptiert und nahezu augenblicklich Vorhersagen generiert. Im Gegensatz zur Offline-Verarbeitung, bei der Daten zu einem späteren Zeitpunkt gesammelt und in großen Mengen analysiert werden, findet die Echtzeit-Inferenz im laufenden Betrieb statt und versetzt Systeme in die Lage, schnell und agil auf ihre Umgebung zu reagieren. Diese Fähigkeit bildet das Herzstück moderner Artificial Intelligence (AI)-Anwendungen und ermöglicht es Geräten, Daten innerhalb von Millisekunden wahrzunehmen, zu interpretieren und darauf zu reagieren.

Die Bedeutung geringer Latenz#

Die primäre Metrik zur Bewertung der Echtzeitleistung ist die Inferenzlatenz. Diese misst die Zeitverzögerung zwischen dem Moment, in dem Daten in das Modell eingegeben werden – wie etwa ein Frame von einer Videokamera –, und dem Moment, in dem das Modell eine Ausgabe erzeugt, wie beispielsweise einen Bounding Box oder ein Klassifizierungsetikett. Damit eine Anwendung als „Echtzeit“-Anwendung gilt, muss die Latenz niedrig genug sein, um mit der Geschwindigkeit des einhergehenden Datenstroms Schritt zu halten.

Bei Videoverständnis-Aufgaben, die beispielsweise mit 30 Bildern pro Sekunde (FPS) ablaufen, hat das System ein striktes Zeitbudget von etwa 33 Millisekunden, um jeden Frame zu verarbeiten. Dauert die Inferenz länger, führt das System eine Verzögerung ein, was potenziell zu ausgelassenen Frames oder verzögerten Reaktionen führen kann. Dies zu erreichen erfordert oft Hardwarebeschleunigung mithilfe von GPUs oder speziellen Edge AI-Geräten wie dem NVIDIA Jetson.

Echtzeit-Inferenz vs. Batch-Inferenz#

Es ist hilfreich, Echtzeit-Workflows von der Batch-Verarbeitung zu unterscheiden. Zwar beinhalten beide die Generierung von Vorhersagen, doch unterscheiden sich ihre Ziele und Architekturen erheblich:

• Echtzeit-Inferenz: Priorisiert niedrige Latenz. Sie verarbeitet einzelne Datenpunkte (oder sehr kleine Batches), sobald diese eintreffen. Dies ist unerlässlich für interaktive Anwendungen wie autonome Fahrzeuge, bei denen ein Auto einen Fußgänger sofort erkennen muss, um rechtzeitig zu bremsen.
• Batch-Inferenz: Priorisiert hohen Durchsatz. Sie sammelt ein großes Datenvolumen und verarbeitet es auf einmal. Dies eignet sich für unkritische Aufgaben wie das Erstellen nächtlicher Bestandsberichte oder das Analysieren historischer Big Data-Trends.

Praxisanwendungen#

Die Fähigkeit, Entscheidungen in Sekundenbruchteilen zu treffen, hat verschiedene Branchen verändert, indem sie Automatisierung in dynamischen Umgebungen ermöglicht.

• Smarte Fertigung: Bei AI in der Fertigung verwenden Kameras über Förderbändern Echtzeit-Inferenz zur automatischen Qualitätskontrolle. Ein Objekterkennung-Modell kann Defekte oder Fremdkörper in Produkten, die sich mit hoher Geschwindigkeit bewegen, sofort identifizieren. Wird eine Anomalie festgestellt, löst das System einen Roboterarm aus, der das Element sofort entfernt, um sicherzustellen, dass nur qualitativ hochwertige Waren die Verpackung erreichen.
• Überwachung und Sicherheit: Moderne Sicherheitssysteme setzen auf Computer Vision, um Perimeter zu überwachen. Anstatt nur Aufnahmen aufzuzeichnen, führen diese Kamera-Systeme Echtzeit-Personenerkennung oder Gesichtserkennung aus, um das Sicherheitspersonal im Moment des unbefugten Zugriffs zu alarmieren.
• Robotik: Im Bereich der AI in der Robotik nutzen Roboter die Pose Estimation, um sich in komplexen physischen Räumen zu bewegen. Ein Lagerroboter muss kontinuierlich den Standort von Hindernissen und menschlichen Arbeitern ermitteln, um seinen Pfad sicher und effizient zu planen.

Optimierung und Bereitstellung#

Das Bereitstellen von Modellen für Echtzeitanwendungen erfordert oft eine Optimierung, um sicherzustellen, dass sie auf der Zielhardware effizient laufen. Techniken wie die Modellquantisierung reduzieren die Präzision der Modellgewichte (z. B. von float32 auf int8), um den Speicherbedarf zu verringern und die Inferenzgeschwindigkeit bei minimalen Auswirkungen auf die Genauigkeit zu erhöhen.

Entwickler können die Ultralytics Platform nutzen, um diesen Prozess zu optimieren. Die Plattform vereinfacht das Training und ermöglicht es Benutzern, Modelle in optimierte Formate wie TensorRT für NVIDIA-GPUs, OpenVINO für Intel-CPUs oder TFLite für die mobile Bereitstellung zu exportieren.

Code-Beispiel#

Das folgende Python-Snippet veranschaulicht, wie man mit der ultralytics-Bibliothek eine Echtzeit-Inferenz auf einem Webcam-Feed ausführt. Es verwendet das Nano-Modell YOLO26, das speziell für High-Speed-Performance auf Edge-Geräten entwickelt wurde.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")