Video Understanding

Vide Verständnis ist ein anspruchsvoller Bereich des maschinellen Sehens (CV), der darauf ausgerichtet ist, Maschinen zu befähigen, visuelle Daten im Zeitverlauf wahrzunehmen, zu analysieren und zu interpretieren. Im Gegensatz zur herkömmlichen Bilderkennung, die statische Momentaufnahmen isoliert verarbeitet, umfasst das Verständnis von Videos die Analyse von Bildfolgen, um zeitliche Dynamiken, Kontext und kausale Zusammenhänge zu erfassen. Durch die Verarbeitung der „vierten Dimension“ Zeit können KI-Systeme über die einfache Identifizierung von Objekten hinausgehen und Handlungen, Ereignisse sowie die sich innerhalb einer Szene entfaltende Handlung verstehen. Diese Fähigkeit ist entscheidend für die Entwicklung intelligenter Systeme, die in dynamischen Umgebungen der realen Welt sicher und effektiv interagieren können.

Kernkomponenten der Videoanalyse#

Um Videoinhalte erfolgreich zu interpretieren, müssen Modelle zwei grundlegende Informationstypen zusammenführen: räumliche Merkmale (was sich im Bild befindet) und zeitliche Merkmale (wie sich Dinge verändern). Dafür ist eine komplexe Architektur erforderlich, die häufig mehrere Strategien neuronaler Netze kombiniert.

• Faltungsneuronale Netze (CNNs): Diese Netze dienen typischerweise als räumliches Grundgerüst und extrahieren visuelle Merkmale wie Formen, Texturen und Objekte aus einzelnen Bildern.
• Rekurrente neuronale Netze (RNNs): Architekturen wie Langzeit-Kurzzeitgedächtnis-(LSTM-) Einheiten werden verwendet, um die vom CNN extrahierte Merkmalsfolge zu verarbeiten. Dadurch kann sich das Modell an vergangene Bilder „erinnern“ und zukünftige Zustände vorhersagen.
• Optischer Fluss: Viele Systeme verwenden Algorithmen für den optischen Fluss, um die Bewegungsvektoren von Pixeln zwischen Bildern explizit zu berechnen. Dadurch erhalten sie wichtige Informationen über Geschwindigkeit und Richtung, unabhängig vom Erscheinungsbild des Objekts.
• Bild-Transformer (ViTs): Moderne Ansätze setzen zunehmend auf Aufmerksamkeitsmechanismen, um die Bedeutung verschiedener Bilder oder Bildbereiche zu gewichten. So kann sich das Modell auf wichtige Ereignisse in einem langen Videostream konzentrieren.

Anwendungen in der Praxis#

Die Fähigkeit, zeitlichen Kontext zu verstehen, hat den Weg für fortschrittliche Automatisierung in verschiedenen Branchen geebnet.

• Autonome Fahrzeuge: Selbstfahrende Autos nutzen das Verständnis von Videos, um die Bewegungsbahnen von Fußgängern und anderen Fahrzeugen vorherzusagen. Durch die Analyse von Bewegungsmustern kann das System mögliche Kollisionen vorhersehen und komplexe Fahrmanöver ausführen.
• Handlungserkennung: In der Sportanalyse und bei der Gesundheitsüberwachung erkennen Systeme bestimmte menschliche Aktivitäten – etwa wenn ein Spieler ein Tor erzielt oder ein Patient stürzt –, um automatisch Erkenntnisse oder Warnmeldungen bereitzustellen.
• Intelligenter Einzelhandel: Geschäfte nutzen diese Systeme zur Anomalieerkennung, um Diebstähle zu erkennen oder Kundenströme zu analysieren und so die Gestaltung der Verkaufsfläche zu optimieren.
• Inhaltsmoderation: Große Medienplattformen nutzen das Verständnis von Videos, um unangemessene Inhalte automatisch zu kennzeichnen oder hochgeladene Inhalte nach Themen zu kategorisieren. Dadurch sinkt der Bedarf an manueller Prüfung erheblich.

Verwandte Konzepte unterscheiden#

Obwohl das Verständnis von Videos ein breites Spektrum an Fähigkeiten umfasst, unterscheidet es sich von mehreren verwandten Begriffen aus dem Bereich der KI.

• Videoverständnis im Vergleich zur Objektverfolgung: Bei der Verfolgung geht es darum, die eindeutige Identität einer Instanz (etwa eines bestimmten Autos) über mehrere Bilder hinweg zu bewahren, während sie sich bewegt. Das Verständnis von Videos interpretiert das Verhalten dieses Autos, beispielsweise indem es erkennt, dass es „parkt“ oder „zu schnell fährt“.
• Videoverständnis im Vergleich zur Posenschätzung: Die Posenschätzung erkennt die geometrische Anordnung der Körpergelenke in einem einzelnen Bild oder einer Bildfolge. Das Verständnis von Videos verwendet diese Daten, um die Bedeutung der Bewegung abzuleiten, etwa „zum Gruß winken“.
• Videoverständnis im Vergleich zu multimodaler KI: Während sich das Verständnis von Videos auf visuelle Sequenzen konzentriert, kombiniert multimodale KI Videos mit Audio, Text oder Sensordaten, um eine umfassendere Analyse zu ermöglichen.

Implementierung der Videoanalyse mit Ultralytics YOLO26#

Ein grundlegender Schritt beim Verständnis von Videos besteht darin, Objekte zuverlässig zu erkennen und zu verfolgen, um zeitliche Kontinuität herzustellen. Das Modell Ultralytics YOLO26 bietet eine hervorragende Leistung bei der Verfolgung in Echtzeit und bildet damit die Grundlage für eine weiterführende Verhaltensanalyse.

Das folgende Beispiel zeigt, wie du mithilfe der Python-API eine Objektverfolgung für eine Videoquelle durchführst:

from ultralytics import YOLO

# Load the official YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Track objects in a video file with persistence to maintain IDs
# 'show=True' visualizes the tracking in real-time
results = model.track(source="path/to/video.mp4", persist=True, show=True)

Herausforderungen und zukünftige Entwicklungen#

Trotz erheblicher Fortschritte ist das Verständnis von Videos aufgrund der enormen Datenmenge hochauflösender Videostreams weiterhin rechenintensiv. Die Berechnung von FLOPS für 3D-Faltungen oder zeitliche Transformer kann für Edge-KI-Geräte zu aufwendig sein. Um dieses Problem zu lösen, entwickeln Forschende effiziente Architekturen wie das Temporal Shift Module (TSM) und nutzen Optimierungswerkzeuge wie NVIDIA TensorRT, um Echtzeit-Inferenz zu ermöglichen.

Zukünftige Entwicklungen bewegen sich in Richtung eines anspruchsvollen multimodalen Lernens, bei dem Modelle Audiosignale (z. B. eine Sirene) und textuelle Kontextinformationen integrieren, um ein tieferes Verständnis zu erreichen. Plattformen wie die Ultralytics Platform entwickeln sich ebenfalls weiter, um die Annotation und Verwaltung komplexer Videodatensätze zu vereinfachen und das Training benutzerdefinierter Modelle für spezifische zeitliche Aufgaben zu erleichtern.