Real-time Inference

Echtzeitinferenz bedeutet, ein trainiertes Modell auf laufende Eingaben anzuwenden und jede Vorhersage zurückzugeben, bevor die nächste Eingabe eintrifft. So kann ein System handeln, solange die Informationen noch aktuell sind. Bei einer Kamera, die mit 30 Bildern pro Sekunde (FPS) streamt, bleiben pro Bild 33,3 Millisekunden für alle Schritte – vom Einlesen des Bildes bis zur Ausgabe des Endergebnisses. Bei 60 FPS schrumpft das Zeitbudget auf 16,7 ms. Jede Anwendung hat ihre eigene Frist: Ein Wahrnehmungssystem im Auto, eine Inspektionskamera am Förderband und ein Hintergrundfilter für Videoanrufe arbeiten alle in Echtzeit, aber mit unterschiedlichen Zeitbudgets.

Das Latenzbudget#

Entscheidend ist die durchgängige Inferenzlatenz: das Erfassen des Bildes, dessen Vorverarbeitung durch Größenanpassung und Normalisierung, der Vorwärtsdurchlauf des Modells sowie die Nachverarbeitung, etwa das Dekodieren der Boxen und die Nichtmaximumunterdrückung (NMS). Überschreitet die Gesamtzeit das Intervall zwischen den Bildern, stauen sich noch nicht verarbeitete Bilder und die Ausgabe hinkt dem aktuellen Geschehen immer weiter hinterher. Bei Live-Pipelines werden daher normalerweise veraltete Bilder verworfen und stets die neuesten verarbeitet. Die Echtzeitverarbeitung unterscheidet zwischen harten Echtzeitsystemen, bei denen eine verpasste Frist einen Ausfall bedeutet, etwa bei einer Airbagsteuerung, und weichen Echtzeitsystemen, die gelegentliche Fristüberschreitungen tolerieren. Die meisten Anwendungen von Computer Vision arbeiten mit weichen Echtzeitanforderungen: Ein verworfenes Bild mindert die Ausgabequalität kurzzeitig, doch mit dem nächsten Bild erholt sie sich wieder.

Dieses Snippet streamt ein aufgezeichnetes Video durch einen kleinen Detektor und vergleicht die mittlere Verarbeitungszeit pro Bild mit dem Zeitbudget für 30 FPS:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"

# stream=True yields each frame's result as soon as it is ready
frame_times = []
for result in model(video, stream=True):
    # Preprocess, inference, and postprocess time for this frame, in milliseconds
    frame_times.append(sum(result.speed.values()))

mean_ms = sum(frame_times) / len(frame_times)
print(f"{mean_ms:.1f} ms per frame ({1000 / mean_ms:.0f} FPS); a 30 FPS camera allows 33.3 ms")

Ein Mittelwert unter 33,3 ms bedeutet, dass das Modell mit einer 30-FPS-Kamera mithält – auf der Hardware, auf der es ausgeführt wurde.

Echtzeit- und Batch-Inferenz#

• Echtzeitinferenz (Online-Inferenz): Verarbeitet jede Eingabe, sobald sie eintrifft, meist ein Bild nach dem anderen. Bewertet wird sie anhand der Latenz jeder einzelnen Vorhersage. Fahrerassistenz, Robotersteuerung und Live-Videoanalyse sind darauf angewiesen.
• Batch-Inferenz (Offline-Inferenz): Erfasst viele Eingaben und verarbeitet sie gemeinsam. Bewertet wird sie anhand des Durchsatzes in Eingaben pro Sekunde und der Kosten. Die nächtliche Neuindizierung eines Fotoarchivs oder die Analyse des Videomaterials vom letzten Monat sind Batch-Aufgaben. Größere Batches halten eine GPU besser ausgelastet, während jede Eingabe länger auf ihr Ergebnis wartet.

Server, die viele Kamerastreams verarbeiten, liegen oft zwischen diesen beiden Ansätzen. Sie fassen Bilder verschiedener Kameras zu kleinen Batches zusammen, um den Durchsatz zu erhöhen und gleichzeitig das Zeitbudget jedes Streams einzuhalten.

Anwendungen in der Praxis#

• Autonome Fahrzeuge: Bei 100 km/h legt ein Auto in 100 ms 2,8 Meter zurück. Die Inferenzlatenz verlängert daher unmittelbar den Anhalteweg.
• Qualitätskontrolle in der Fertigung: Kameras über einem Förderband erkennen Fehler an jedem Werkstück und müssen den Ausschussmechanismus auslösen, bevor das fehlerhafte Werkstück daran vorbeigelaufen ist.
• Robotik: Die Hinderniserkennung und Posenschätzung laufen innerhalb des Regelkreises eines Roboters. Eine langsamere Wahrnehmung zwingt ihn zu langsameren Bewegungen.
• Videoeffekte und erweiterte Realität: Hintergrundunschärfe in Videoanrufen und AR-Einblendungen führen Segmentierung oder Objektverfolgung bei jedem Bild aus. Jede Verzögerung zeigt sich darin, dass eine Einblendung der Bewegung einer Person hinterherhinkt.

Ein Modell ausreichend schnell machen#

• Kleineres Modell oder Eingabeformat: Eine kleinere Modellvariante benötigt weniger Rechenoperationen pro Bild. Da der Rechenaufwand für Faltungen ungefähr mit der Pixelanzahl wächst, sinkt er auf etwa ein Viertel, wenn Breite und Höhe der Eingabe halbiert werden. Das geht zulasten der Erkennungsgenauigkeit bei kleinen Objekten.
• Modellquantisierung: Werden Gewichte und Aktivierungen statt als FP32 als FP16 oder INT8 gespeichert, sinkt der Speicherverkehr und es lassen sich schnellere Recheneinheiten nutzen. Für INT8 werden normalerweise einige Kalibrierungsbilder benötigt, damit der Genauigkeitsverlust gering bleibt.
• Inferenz-Engines: Eine Laufzeitumgebung, die für eine bestimmte Hardwarefamilie entwickelt wurde, fusioniert Layer und wählt auf das Gerät abgestimmte Kernel aus, etwa TensorRT für NVIDIA-GPUs oder Core ML für Apple-Geräte.
• Edge-KI: Wird das Modell direkt auf der Kamera oder einem eingebetteten Modul ausgeführt, entfällt der Umweg über das Netzwerk zu einem Cloud-Dienst. Bei einer langsamen Verbindung kann dieser Umweg das gesamte Zeitbudget für ein Bild überschreiten.

Laufzeitumgebung und Hardware können die Latenz um mehr als eine Größenordnung verändern: Das Nano-Modell YOLO26 benötigt pro Bild mit 640 Pixeln auf einer CPU mit ONNX 38,9 ms und auf einer NVIDIA-T4-GPU mit TensorRT 1,7 ms. Der Exportmodus von Ultralytics konvertiert ein trainiertes YOLO26-Modell in TensorRT, OpenVINO, LiteRT und andere Formate. Mit dem Argument quantize=16 oder quantize=8 werden FP16- oder INT8-Gewichte für das Zielgerät erzeugt.