Inference Latency

Die Inferenzlatenz bezeichnet die Zeitverzögerung zwischen dem Empfang einer Eingabe – etwa eines Bildes oder einer Texteingabe – durch ein maschinelles Lernmodell (ML) und der Ausgabe oder Vorhersage des entsprechenden Ergebnisses. Im Kontext der künstlichen Intelligenz (AI) wird diese Metrik typischerweise in Millisekunden (ms) gemessen und dient als wichtiger Indikator für die Reaktionsfähigkeit eines Systems. Für Entwickler, die Anwendungen im Bereich Computer Vision entwickeln, ist es entscheidend, die Latenz zu verstehen und zu minimieren, um reibungslose, interaktive Benutzererlebnisse zu schaffen – insbesondere bei der Bereitstellung von Modellen auf ressourcenbeschränkten Umgebungen wie Mobiltelefonen oder eingebetteten Geräten.

Warum die Inferenzlatenz wichtig ist#

Die Bedeutung der Inferenzlatenz hängt stark vom jeweiligen Anwendungsfall ab. Während eine Verzögerung von einigen Sekunden für eine Aufgabe zur Stapelverarbeitung wie die Analyse eines nächtlichen Serverberichts akzeptabel sein kann, ist sie für interaktive Anwendungen oft nicht hinnehmbar. Eine niedrige Latenz ist die Grundlage der Echtzeitinferenz, bei der Systeme Daten verarbeiten und sofort reagieren müssen.

Eine reduzierte Latenz stellt sicher, dass AI-Agenten natürlich mit Menschen interagieren und automatisierte Systeme sicher arbeiten können. Eine hohe Latenz kann zu verzögerten Benutzeroberflächen, einer geringeren Nutzerbindung oder in sicherheitskritischen Szenarien zu gefährlichen Betriebsfehlern führen. Ingenieure müssen häufig den Zielkonflikt zwischen der Modellkomplexität, die die Genauigkeit verbessern kann, und der Ausführungsgeschwindigkeit abwägen.

Faktoren, die die Latenz beeinflussen#

Mehrere technische Komponenten tragen zur insgesamt benötigten Zeit für einen einzelnen Inferenzdurchlauf bei:

• Modellarchitektur: Der Aufbau des neuronalen Netzwerks (NN) ist ein wesentlicher Faktor. Tiefe Modelle mit vielen Schichten erfordern im Allgemeinen mehr Berechnungen als flachere Modelle. Moderne Architekturen wie YOLO26 sind speziell darauf optimiert, eine hohe Genauigkeit bei minimalem Rechenaufwand zu liefern.
• Hardwarefähigkeiten: Die Wahl der Verarbeitungseinheit wirkt sich maßgeblich auf die Geschwindigkeit aus. Eine CPU ist vielseitig einsetzbar, während spezialisierte Hardware wie eine Grafikprozessoreinheit (GPU) oder eine Tensorverarbeitungseinheit (TPU) darauf ausgelegt ist, die für Deep Learning zentralen Matrixoperationen zu parallelisieren und so die Latenz deutlich zu reduzieren.
• Eingabegröße: Die Verarbeitung von Videobildern in hoher 4K-Auflösung dauert länger als die Verarbeitung von Standardbildern mit 640p. Entwickler skalieren Eingaben während der Datenvorverarbeitung häufig neu, um einen optimalen Kompromiss zwischen Geschwindigkeit und der Fähigkeit zur Erkennung kleiner Details zu finden.
• Optimierungstechniken: Methoden wie Modellquantisierung (Umwandlung von Gewichten in eine niedrigere Genauigkeit) und Modellbeschneidung (Entfernen unnötiger Verbindungen) sind effektive Möglichkeiten, die Ausführung zu beschleunigen. Werkzeuge wie NVIDIA TensorRT können Modelle zusätzlich für bestimmte Hardware optimieren.

Anwendungen in der Praxis#

Die Auswirkungen der Inferenzlatenz lassen sich am besten anhand praktischer Beispiele veranschaulichen, bei denen Geschwindigkeit unverzichtbar ist.

1. Autonomes Fahren: Im Bereich der AI im Automobilbereich muss ein selbstfahrendes Auto seine Umgebung kontinuierlich auf Fußgänger, andere Fahrzeuge und Verkehrssignale überprüfen. Wenn das System zur Objekterkennung eine hohe Latenz aufweist, könnte das Auto es versäumen, rechtzeitig zu bremsen, wenn ein Hindernis auftaucht. Selbst eine Verzögerung von 100 Millisekunden kann bei Autobahngeschwindigkeit eine zurückgelegte Strecke von mehreren Metern bedeuten, wodurch eine niedrige Latenz zu einer kritischen Sicherheitsanforderung wird.

2. Hochfrequenzhandel: Finanzinstitute verwenden prädiktive Modelle, um Markttrends zu analysieren und Geschäfte auszuführen. Diese Algorithmen müssen enorme Datenmengen verarbeiten und innerhalb von Mikrosekunden Entscheidungen treffen. In diesem Bereich bedeutet eine geringere Latenz unmittelbar einen Wettbewerbsvorteil, da Unternehmen kurzlebige Marktchancen nutzen können, bevor Wettbewerber reagieren.

Latenz mit Python messen#

Du kannst die Inferenzgeschwindigkeit von Ultralytics-Modellen ganz einfach mit dem Benchmark-Modus messen. Dies hilft dir, die richtige Modellgröße für die Einschränkungen deiner spezifischen Hardware auszuwählen.

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Benchmark the model on CPU to measure latency
# This provides a breakdown of preprocess, inference, and postprocess time
model.benchmark(data="coco8.yaml", imgsz=640, device="cpu")

Inferenzlatenz im Vergleich zum Durchsatz#

Es ist wichtig, die Latenz vom Durchsatz zu unterscheiden, da es sich um verwandte, aber unterschiedliche Konzepte bei der Modellbereitstellung handelt.

• Inferenzlatenz misst die Zeit für eine einzelne Vorhersage (z. B. „Die Verarbeitung dieses Bildes dauerte 20 ms“). Dies ist die entscheidende Metrik für Echtzeitanwendungen mit einem einzelnen Nutzer.
• Durchsatz misst die Anzahl der Vorhersagen pro Zeiteinheit (z. B. „Das System hat 500 Bilder pro Sekunde verarbeitet“). Ein hoher Durchsatz wird häufig durch die Erhöhung der Stapelgröße erreicht, wodurch viele Eingaben gleichzeitig verarbeitet werden. Die Stapelverarbeitung kann jedoch die Latenz einzelner Elemente, die in der Warteschlange warten, tatsächlich erhöhen.

Die Optimierung für eine Größe geht häufig auf Kosten der anderen. Anwendungen für Edge-AI priorisieren beispielsweise typischerweise die Latenz, um sofortiges Feedback zu gewährleisten, während cloudbasierte Aufgaben zur Datenermittlung möglicherweise den Durchsatz priorisieren, um umfangreiche Datensätze effizient zu verarbeiten.

Optimierungsstrategien#

Entwickler setzen verschiedene Strategien ein, um die Latenz zu minimieren. Das Exportieren von Modellen in optimierte Formate wie ONNX oder OpenVINO kann auf herkömmlichen CPUs zu erheblichen Geschwindigkeitssteigerungen führen. Bei mobilen Bereitstellungen sorgt die Konvertierung von Modellen in TFLite oder CoreML dafür, dass sie auf iOS- und Android-Geräten effizient ausgeführt werden. Darüber hinaus stellen schlanke Architekturen wie MobileNet oder das aktuelle Ultralytics-YOLO26 sicher, dass das Basismodell bereits konstruktionsbedingt effizient ist. Nutzer können außerdem die Ultralytics Platform nutzen, um Modelle ohne aufwendige manuelle Konfiguration nahtlos in diese optimierten Formate bereitzustellen.