Video Understanding

Das Videoverständnis ist ein Bereich der Computer Vision, der interpretiert, was im zeitlichen Verlauf eines Videos geschieht: Welche Objekte und Personen vorhanden sind, was sie tun, wann Ereignisse beginnen und enden und wie ein Ereignis zum nächsten führt. Die Bilderkennung analysiert jedes Einzelbild isoliert, während Modelle zum Videoverständnis Bewegungen und zeitliche Abfolgen berücksichtigen, von denen viele Fragen abhängen. Ein einzelnes Bild zeigt eine Person, die sich gerade auf einen Stuhl setzt oder daraus aufsteht. Erst die umliegenden Einzelbilder zeigen, was tatsächlich geschieht. Das Spektrum reicht von der Kennzeichnung kurzer Clips bis zur Beantwortung offener Fragen zu stundenlangem Filmmaterial.

Zentrale Aufgaben#

• Aktionserkennung: Weist einem kurzen, zugeschnittenen Clip ein einzelnes Label zu, etwa „Liegestütz“ oder „Sturz“.
• Zeitliche Lokalisierung von Aktionen: Ermittelt bei einem langen, ungeschnittenen Video, wann die einzelnen Aktionen beginnen und enden. Bei der raumzeitlichen Aktionserkennung wird außerdem jeder Akteur in jedem Einzelbild mit einer Box markiert.
• Objektverfolgung: Verfolgt jedes Objekt über mehrere Einzelbilder hinweg mit einer dauerhaften ID und bildet so die Grundlage für Zählungen, Geschwindigkeitsmessungen und Trajektorienanalysen.
• Videosegmentierung: Erstellt Pixelmasken für Objekte oder Szenenbereiche, die von Einzelbild zu Einzelbild konsistent bleiben.
• Videobeschreibung und Fragenbeantwortung: Beschreibt einen Clip in Textform oder beantwortet Fragen wie „Was hat der Fahrer gemacht, bevor das Auto anhielt?“
• Zeitliche Verankerung: Findet den Moment, der zu einem Satz passt, etwa „Der Torwart fängt den Ball“. Diese Aufgabe wird auch Momentabruf genannt.
• Anomalieerkennung: Meldet ungewöhnliche Ereignisse wie einen Sturz, eine Auseinandersetzung oder ein Fahrzeug, das in die falsche Richtung fährt.

So funktionieren Videomodelle#

Videomodelle müssen das Erscheinungsbild, also wie Objekte aussehen, und die Bewegung, also wie sie sich verändern, erfassen. Zwei-Strom-Netze verarbeiteten RGB-Einzelbilder und optischen Fluss in getrennten Zweigen. Dreidimensionale Faltungsneuronale Netze (CNNs) führen Faltungen gleichzeitig über Höhe, Breite und Zeit durch. Das Temporal Shift Module ermöglicht 2D-CNNs zeitliche Modellierung ohne zusätzlichen Rechenaufwand, indem ein Teil der Kanäle jeder Schicht zu benachbarten Einzelbildern verschoben wird. Video-Transformer wenden Selbstaufmerksamkeit auf Raum-Zeit-Patches an. TimeSformer machte dies effizient, indem er Zeit und Raum in getrennten Schritten berücksichtigt. Selbstüberwachtes Vortraining mit nicht annotierten Videos erzeugt leistungsfähige Encoder für allgemeine Zwecke: Metas V-JEPA 2 lernte anhand von mehr als 1 Million Stunden Internetvideos, indem es die Repräsentationen maskierter Bereiche vorhersagte. Auf Something-Something v2, einem Benchmark für Hand-Objekt-Aktionen, die sich vor allem durch ihre Bewegung unterscheiden, erreichte es eine Top-1-Genauigkeit von 77,3 %. Videosprachmodelle wählen Einzelbilder aus, kodieren jedes davon in visuelle Tokens und übergeben diese an ein großes Sprachmodell (LLM), das Fragen in Textform beantwortet.

Welche dieser Modellfamilien zum Einsatz kommt, hängt größtenteils davon ab, welche Ausgabe das System benötigt:

Ereignisse aus Objektverfolgungen#

Viele praktische Systeme verstehen Videos, indem sie Verfolgungsspuren auswerten: Ein Detektor findet Objekte in jedem Einzelbild, ein Tracker verknüpft sie zu Trajektorien, und Regeln oder Modelle leiten daraus Ereignisse ab, etwa das Betreten eines Bereichs, das Überqueren einer Linie oder einen zu langen Stillstand. Die Ultralytics-Lösung zur Objektzählung funktioniert auf diese Weise mit der YOLO26-Verfolgung: Jedes verfolgte Objekt wird einmal gezählt, wenn seine Spur eine Linie überquert, und die Richtung wird anhand seiner Positionen in aufeinanderfolgenden Einzelbildern ermittelt:

import cv2
from ultralytics import solutions

# Count people (COCO class 0) crossing a horizontal line through the middle of the 640x360 frame
counter = solutions.ObjectCounter(model="yolo26n.pt", region=[(0, 180), (640, 180)], classes=[0])

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/solutions_ci_demo.mp4")
while True:
    success, frame = cap.read()
    if not success:
        break
    results = counter(frame)

# A crossing and its direction come from each person's track, so they exist only across frames
print(f"Crossed moving down: {results.in_count}, moving up: {results.out_count}")

Die beiden Zählwerte beschreiben Ereignisse, die in keinem einzelnen Einzelbild zu sehen sind. Um zu erkennen, ob eine Person eine Treppe hinauf- oder hinuntergeht, benötigt man mindestens zwei Positionen derselben verfolgten Person.

Videoverständnis und verwandte Begriffe#

• Bilderkennung: Klassifiziert oder erkennt Inhalte in einzelnen Bildern. Wird sie auf jedes Einzelbild eines Videos angewendet, liefert sie Ergebnisse pro Einzelbild, ohne Identität, Bewegung oder Reihenfolge zu berücksichtigen.
• Mehrfachobjektverfolgung (MOT): Ein Baustein des Videoverständnisses, der Identitäten über mehrere Einzelbilder hinweg beibehält, ohne zu interpretieren, was die Objekte tun.
• Videogenerierung: Erzeugt aus Text oder Bildern neue Videos, also in umgekehrter Richtung, obwohl sich beide Aufgaben auf Modelle stützen, die Veränderungen von Szenen im zeitlichen Verlauf abbilden.
• Multimodale KI: Kombiniert Videos mit Audio, Untertiteln oder anderen Daten. Das ist hilfreich, wenn der Ton oder die Sprache wichtige Informationen enthalten.

Anwendungen#

• Sportanalyse: Verfolgt Spieler und Ball, um Geschwindigkeit, Ballbesitz und Formationen zu messen und in Aufzeichnungen vollständiger Spiele Höhepunkte zu finden.
• Verkehr und Smart Cities: Zählt Fahrzeuge und Fußgänger, misst Geschwindigkeiten und erkennt Falschfahrten oder liegen gebliebene Fahrzeuge.
• Einzelhandel und Sicherheitsüberwachung: Misst die Länge von Warteschlangen, meldet Stürze in Pflegeeinrichtungen und erkennt Personen, die eingeschränkte Bereiche betreten.
• Medien und Inhaltsmoderation: Indiziert große Videobibliotheken für Suchanfragen und meldet Uploads, die gegen Richtlinien verstoßen.
• Robotik und autonome Fahrzeuge: Sagen voraus, wohin sich Fußgänger und andere Fahrzeuge als Nächstes bewegen.

Herausforderungen#

Video erhöht den Aufwand für jedes Bild: Eine Minute mit 30 Einzelbildern pro Sekunde umfasst 1.800 Einzelbilder. Modelle wählen daher nur wenige aus, oft 8 bis 64 Einzelbilder pro Clip, und riskieren trotzdem, kurze Ereignisse zu übersehen. Lange Videos beanspruchen viel Speicher und Kontextlänge. Außerdem dauert es deutlich länger, Aktionen mit präzisen Start- und Endzeiten zu annotieren, als Bilder zu beschriften. Die Gemini-API von Google wählt ein Einzelbild pro Sekunde aus einem Video aus und verwendet bei der standardmäßig niedrigen Medienauflösung etwa 100 Tokens pro Sekunde Video. Daher können die Modelle mit einem Kontextfenster von einer Million Tokens bis zu drei Stunden Video oder eine Stunde Video in hoher Auflösung verarbeiten.