Kollisionsvorhersage mit Ultralytics-YOLO-Modellen verbessern

Auch wenn du im Straßenverkehr vorsichtig bist, kann es trotzdem zu Unfällen kommen. Ein Auto wechselt die Spur, ein Fußgänger überquert die Straße abseits eines Zebrastreifens oder ein Radfahrer beschleunigt plötzlich. Solche alltäglichen Situationen zeigen, wann Kollisionsvorhersagesysteme einen echten Unterschied machen und zur Sicherheit aller beitragen können.

Zuvor haben wir uns mit der Vorhersage von Ballflugbahnen beschäftigt und gesehen, wie Vorhersagen zur Flugbahn eines schnell bewegten Balls der Sportanalyse helfen, Bewegungen zu verstehen und das nächste Geschehen vorherzusehen. Die Kollisionsvorhersage funktioniert ähnlich.

Diese Vorhersagesysteme blicken im Grunde in die Zukunft. Indem sie die Bewegungen von Fahrzeugen und Fußgängern beobachten, können sie Risiken frühzeitig erkennen und ihre Route oder ihr Verhalten anpassen, bevor es gefährlich wird – ein Vorgang, der auch als Bewegungs- oder Pfadplanung bezeichnet wird.

Zu den wichtigsten Informatiktechnologien hinter Kollisionsvorhersagesystemen gehören künstliche Intelligenz und ihre Teilgebiete wie Computer Vision sowie Vorhersageverfahren, mit denen sich Bewegungen prognostizieren lassen. Computer-Vision-Modelle wie Ultralytics YOLO11 und das kommende Ultralytics YOLO26 können beispielsweise Fahrzeuge und Fußgänger in Echtzeit erkennen und verfolgen. Vorhersagemodelle nutzen diese Erkenntnisse dann, um deren nächste Bewegungen abzuschätzen.

Abb. 1: Beispiel für den Einsatz von YOLO11 zur Erkennung von Objekten auf der Straße (Quelle).

Das Ergebnis ist ein KI-System, das versteht, was um es herum geschieht, und fundiertere Entscheidungen in dynamischen Umgebungen unterstützt. In diesem Artikel sehen wir uns an, wie die Kollisionsvorhersage funktioniert, welche Methoden dahinterstecken und welche Rolle Computer Vision und Ultralytics-YOLO-Modelle dabei spielen können. Los geht’s!

Was ist Kollisionsvorhersage?#

Kollisionsvorhersage ist die Fähigkeit eines KI-Systems, die Bewegung von Objekten zu verstehen und vorherzusehen, wann sie sich sehr nahe kommen oder zusammenstoßen könnten. Verschiedene Systeme können diese Informationen auf vielfältige Weise nutzen, etwa zur Unterstützung von Sicherheitsfunktionen, zur Optimierung von Bewegungen oder zur Koordination von Aktionen in gemeinsam genutzten Bereichen.

Überall dort, wo sich Objekte in einem gemeinsam genutzten Bereich bewegen – ob Autos auf einer Autobahn, Gabelstapler in einem Lagergang oder Fußgänger beim Überqueren einer Straße –, hilft die Kollisionsvorhersage Systemen zu verstehen, wie sich diese Interaktionen entwickeln könnten. Bei sicherheitskritischen Anwendungen lässt sich dieses Wissen nutzen, um Risiken zu verringern. In anderen Bereichen kann es Aufgaben wie Routenplanung, Zeitplanung oder koordinierte Bewegung unterstützen.

Bei vielen neueren Fahrzeugen mit fortschrittlichen Fahrerassistenzsystemen (ADAS) überwachen Kameras und Sensoren beispielsweise die Straße und schätzen, wie schnell sich das Auto nahe gelegenen Objekten nähert. Erkennt das System eine potenziell gefährliche Situation, warnt es die Fahrerin oder den Fahrer. In manchen Fällen kann eine automatische Bremsung helfen, die Auswirkungen zu mindern.

Die vier Phasen der Kollisionsvorhersage#

Bei der Kollisionsvorhersage arbeiten verschiedene KI-Komponenten in einem abgestimmten Prozess zusammen, um Objekte zu erkennen, ihre Bewegungen zu verfolgen und abzuschätzen, was als Nächstes geschehen könnte. Typischerweise durchlaufen diese Systeme vier miteinander verbundene Phasen: Objekterkennung, Objektverfolgung, Flugbahnvorhersage und schließlich Kollisionsvorhersage. Jede Phase baut auf der Genauigkeit der vorherigen auf.

Sehen wir uns nun genauer an, wie die einzelnen Phasen funktionieren.

Ein Überblick über die Objekterkennung#

Objekterkennung ist eine zentrale Aufgabe der Computer Vision, bei der Modelle der visuellen KI Objekte in einem Bild oder Videobild erkennen und lokalisieren. Durch die Analyse von Pixeldaten kann ein Objekterkennungsmodell drei wichtige Ergebnisse liefern: Begrenzungsrahmen, Objektklassen und Konfidenzwerte. Begrenzungsrahmen zeigen, wo sich ein Objekt befindet, Objektklassen geben an, um was es sich handelt – etwa ein Auto, ein Fußgänger oder ein Fahrrad –, und Konfidenzwerte geben an, wie sicher sich das Modell bei seiner Vorhersage ist.

Modelle visueller KI wie YOLO11 und YOLO26 bauen auf dieser Grundlage auf und unterstützen mehrere verwandte Aufgaben, darunter Objekterkennung, Objektverfolgung und die Erkennung orientierter Begrenzungsrahmen (OBB). Die Objekterkennung zeigt einem Vorhersagesystem, was sich in jedem Bild befindet. Die Verfolgung folgt den Objekten während ihrer Bewegung, und orientierte Begrenzungsrahmen liefern genauere Formen für Objekte, die in unterschiedlichen Winkeln erscheinen.

In dieser Phase konzentriert sich das Kollisionsvorhersagesystem ausschließlich darauf, zu verstehen, was in den visuellen Daten zu sehen ist. Sie bildet die grundlegende Informationsschicht, auf der alle späteren Schritte aufbauen. Wie sich Objekte bewegen oder miteinander interagieren, wird dabei noch nicht berücksichtigt.

Ein Überblick über die Objektverfolgung#

Nachdem die Objekte erkannt wurden, besteht der nächste Schritt darin, sie über mehrere Bilder hinweg zu verfolgen, damit das System ihre Bewegung im Zeitverlauf versteht. Während die Erkennung in jedem Bild neue Begrenzungsrahmen liefert, sorgt die Objektverfolgung für Kontinuität, indem sie die Erkennungen im Zeitverlauf miteinander verknüpft.

Verfolgungsalgorithmen, die vom Ultralytics-Python-Paket unterstützt werden, etwa ByteTrack oder BoT-SORT, arbeiten mit Modellen wie YOLO11 zusammen. Sie verwenden Erkennungsdaten aus jedem Bild, um Objekte während ihrer Bewegung zu verfolgen. Die Algorithmen weisen jedem Objekt eine eindeutige ID zu und behalten seine Identität bei, auch wenn es sich schnell bewegt oder teilweise verdeckt ist. So entsteht ein lückenloser Verlauf, der die Bewegung des Objekts erfasst.

Abb. 2: Vergabe eindeutiger IDs für verschiedene Erkennungen mit YOLO (Quelle)

Hier ein kurzer Überblick über die Funktionsweise dieser beiden Verfolgungsmethoden:

• ByteTrack: Der Algorithmus verwendet sowohl Erkennungen mit hoher als auch mit niedriger Konfidenz, um Objekt-IDs konsistent beizubehalten. Bewegungsvorhersagen eines Kalman-Filters sorgen dafür, dass die Verfolgung stabil bleibt, wenn sich Objekte schnell bewegen oder kurzzeitig schwer zu erkennen sind.
• BoT-SORT: Dieser Algorithmus erweitert SORT, indem er Bewegungsvorhersagen des Kalman-Filters mit Merkmalen des Erscheinungsbilds kombiniert. Dadurch kann er Objekte in dicht gedrängten Szenen oder bei teilweisen Verdeckungen zuverlässiger verfolgen.

Um die Leistung dieser Verfolgungsmethoden zu messen, bewerten Forschende sie anhand etablierter Datensätze und Benchmarks zur Verfolgung mehrerer Objekte (MOT). Zu den gängigen Kennzahlen gehören außerdem die Genauigkeit der Verfolgung mehrerer Objekte (MOTA), die die Gesamtqualität der Verfolgung abbildet; der F1-Wert zur Identifizierung (IDF1), der misst, wie konsistent Objektidentitäten beibehalten werden; und die Verfolgungsgenauigkeit höherer Ordnung (HOTA), die sowohl die Erkennungsleistung als auch die Zuordnungsgenauigkeit ausgewogen bewertet.

Flugbahnvorhersagen verstehen#

Nachdem ein Objekt über mehrere Bilder hinweg verfolgt wurde, besteht der nächste Schritt darin, vorherzusagen, wohin es sich als Nächstes bewegt. Das nennt man Flugbahnvorhersage. Während die Erkennung Objekte findet und die Verfolgung ihre Bewegung nachvollzieht, blickt die Vorhersage nach vorn und schätzt ihre zukünftigen Positionen.

Informationen aus der Erkennung und Verfolgung, etwa der Begrenzungsrahmen, die Position eines Objekts in den einzelnen Bildern und seine zugewiesene ID, lassen sich verwenden, um Bewegungsmerkmale wie Geschwindigkeit, Richtung und Bewegungsmuster zu berechnen. Diese abgeleiteten Erkenntnisse liefern dem Vorhersagemodell die Daten, die es benötigt, um abzuschätzen, wo sich das Objekt in den nächsten Sekunden wahrscheinlich befinden wird.

Wenn Verfolgungsdaten Lücken oder abrupte Sprünge aufweisen, helfen Interpolationsverfahren dabei, gleichmäßigere und konsistentere Flugbahnen zu rekonstruieren. So erhält das Vorhersagemodell hochwertige Bewegungsdaten statt verrauschter oder unvollständiger Positionsdaten.

Abb. 3: Visualisierung der Vorhersage der Flugbahn eines Autos. (Quelle)

Viele Systeme stützen sich für diese Vorhersagen auf Deep-Learning-Modelle, die dafür entwickelt wurden, Veränderungen in der Bewegung eines Objekts im Zeitverlauf zu verstehen. Indem sie Folgen früherer Positionen und daraus abgeleitete Bewegungsmerkmale analysieren, lernen diese Modelle typische Bewegungsmuster und nutzen dieses Wissen, um zukünftige Flugbahnen vorherzusagen.

Hier sind einige gängige Deep-Learning- und Machine-Learning-Verfahren zur Flugbahnvorhersage:

• Rekurrente neuronale Netze (RNNs): RNNs sind Deep-Learning-Modelle, die für die Verarbeitung von Sequenzen wie einer Folge von Videobildern entwickelt wurden. Sie können sich frühere Positionen merken und diese Informationen nutzen, um zu verstehen, wie sich ein Objekt bewegt hat. So kann das System einfache Bewegungsmuster erkennen, etwa Beschleunigen, Abbremsen oder eine Bewegung in gerader Linie.

• Netze mit Langzeit-Kurzzeitgedächtnis (LSTMs): LSTMs sind eine fortgeschrittenere Art von RNNs, die Informationen über längere Zeiträume hinweg speichern können. Dadurch lassen sich komplexere Bewegungen erfassen, etwa wenn ein Fahrzeug zum Abbiegen ansetzt oder ein Fußgänger die Richtung ändert. Da sie längerfristige Trends verfolgen können, liefern sie in belebten Umgebungen oft zuverlässigere Vorhersagen.

• Transformer: Transformer verarbeiten vollständige Bewegungssequenzen und nutzen Aufmerksamkeitsmechanismen, um die wichtigsten Details hervorzuheben. Dadurch eignen sie sich besonders gut für Szenen mit mehreren interagierenden Objekten, etwa beim Einfädeln von Autos oder beim Überqueren einer Straße durch Fußgänger.

Diese Modelle können sowohl kurzfristige als auch längerfristige Flugbahnen vorhersagen. Kurzfristige Vorhersagen von in der Regel weniger als zwei Sekunden sind meist am genauesten. Vorhersagen über längere Zeiträume, etwa zwei bis sechs Sekunden, bieten einen größeren Vorlauf, sind aber mit mehr Unsicherheit verbunden.

Alles zusammenführen: Algorithmen zur Kollisionsvorhersage#

In der letzten Phase, der Kollisionsvorhersage, nutzt das System alle bisherigen Erkenntnisse: was die einzelnen Objekte sind (Erkennung), wie sie sich bewegt haben (Verfolgung) und wohin sie sich wahrscheinlich als Nächstes bewegen (Vorhersage). Dabei wird geprüft, ob sich vorhergesagte Flugbahnen so kreuzen könnten, dass es zu einer Kollision kommt.

Abb. 4. So funktioniert ein System zur Kollisionsvorhersage (Quelle)

Bei autonomen Fahrzeugen vergleicht ein System zur Kollisionsprüfung die zukünftigen Bewegungsbahnen naher Objekte wie Autos, Fußgänger und Radfahrer. Wenn sich zwei vorhergesagte Bahnen überschneiden oder gefährlich nahe kommen, stuft es die Situation als mögliche Fahrzeugkollision ein. Um einzuschätzen, wie dringend die Kollisionsgefahr ist, berechnet das System außerdem einen Wert, der als Zeit bis zur Kollision bezeichnet wird.

Die Zeit bis zur Kollision (TTC) ist eine wichtige Messgröße in Umgebungen mit schnellen Bewegungen. Sie schätzt, wie viel Zeit bleibt, bis zwei Objekte zusammenstoßen würden, wenn sie ihre derzeitige Geschwindigkeit und Richtung beibehalten. Sinkt die TTC unter einen bestimmten Schwellenwert, kann das System mit Warnungen, Bremsmanövern oder einer Anpassung der geplanten Route reagieren.

Anwendungsbereiche der Kollisionsvorhersage in der Praxis#

Die Kollisionsvorhersage wird in vielen Branchen immer wichtiger, darunter Verkehrsmanagement, intelligente städtische Infrastruktur, industrielle Automatisierung und mobile Robotik. Mit den Fortschritten bei hochmodernen Computer-Vision- und Prognosemodellen werden diese Systeme immer besser darin, Bewegungen vorherzusehen.

Nachdem wir nun besser verstehen, wie Kollisionsvorhersage und Bewegungsbahnprognosen funktionieren, werfen wir einen Blick auf einige interessante Forschungsarbeiten, die zeigen, wie diese Methoden in verschiedenen Umgebungen der Praxis eingesetzt werden können.

YOLO-gestützte Kollisionsvorhersage für autonome Einsatzfahrzeuge#

Die Navigation in belebten, unvorhersehbaren Umgebungen gehört zu den größten Herausforderungen für autonome Systeme – insbesondere, wenn sich Fußgänger nicht nach klaren Mustern bewegen. Einsatzfahrzeuge stehen noch häufiger vor diesem Problem, da sie sich schnell und mit hoher Geschwindigkeit durch dicht besuchte öffentliche Bereiche bewegen müssen, ohne sich auf ein festgelegtes Straßennetz, Fahrbahnmarkierungen oder vorhersehbares Verhalten von Fußgängern verlassen zu können.

In solchen Szenarien ist es entscheidend, zu wissen, wo sich Menschen befinden und wie sie sich in den nächsten Sekunden bewegen könnten, um Unfälle zu vermeiden. Eine aktuelle Forschungsarbeit untersuchte diese Herausforderung beispielsweise, indem sie eine vollständige Pipeline zur Kollisionsvorhersage für ein autonomes Einsatzfahrzeug (EAV) entwickelte, das in Umgebungen mit vielen Fußgängern unterwegs ist.

So funktioniert die YOLO-gestützte Pipeline zur Kollisionsvorhersage#

Hier ein kurzer Überblick über die Funktionsweise dieser Methode:

• Fußgängererkennung mit YOLO: Ein YOLO-basierter Detektor erkennt Fußgänger in jedem Kamerabild und gibt für jede sichtbare Person eine Begrenzungsbox aus.
• Bewegungsverfolgung mit ByteTrack: Der ByteTrack-Algorithmus verknüpft diese Erkennungen über mehrere Bilder hinweg, weist jedem Fußgänger eine einheitliche ID zu und erstellt einen Bewegungsverlauf, der zeigt, wie sich die Person im Laufe der Zeit bewegt.
• Schätzung der Position in der realen Welt: Die inverse perspektivische Abbildung (IPM) wandelt 2D-Pixelkoordinaten in ungefähre Positionen auf der Bodenebene um. So kann das System bestimmen, wo sich Fußgänger im realen Raum relativ zum Fahrzeug befinden.
• Erzeugung einer Vogelperspektive mit einem cGAN: Ein bedingtes GAN, also ein KI-Modell, das ein Bildformat in ein anderes überträgt, erstellt eine Darstellung der Szene aus der Vogelperspektive. Diese Draufsicht erleichtert es, die Positionen der Fußgänger und ihre Umgebung zu erfassen.
• Bewegungsbahnprognose mit einem LSTM-Modell: Anhand der bisherigen Positionen und Bewegungsmuster der einzelnen Fußgänger sagt ein LSTM-Modell voraus, wohin sie sich wahrscheinlich in den nächsten Sekunden bewegen.
• Effiziente Kollisionserkennung mit Kollisionskegeln: Die vorhergesagten Bewegungsbahnen werden mithilfe des Kollisionskegelverfahrens verglichen. Damit wird bestimmt, ob sich die Bahnen des Fahrzeugs und eines Fußgängers voraussichtlich kreuzen.
• Kollisionsvermeidung durch Signale: Sagt das System eine Kollision voraus, gibt es zum optimalen Zeitpunkt ein akustisches Signal aus, etwa eine Hupe oder Klingel. Der Zeitpunkt wird so gewählt, dass das Verhalten der Fußgänger beeinflusst wird und sie die Möglichkeit haben, schneller oder langsamer zu gehen und sich in Sicherheit zu bringen.

Fußgängersicherheit in Städten mit Edge Vision und YOLO#

Ein anderer Ansatz zur Kollisionsvermeidung richtet den Blick über Fahrzeuge hinaus auf die Infrastruktur selbst. Statt sich auf Sensoren im Auto zu verlassen, nutzt diese Methode intelligente Kameras an Fußgängerüberwegen und Kreuzungen, um die Bewegungen von Fußgängern und Fahrzeugen in Echtzeit zu überwachen. An diesen Orten ist die Lage oft unvorhersehbar: Menschen können plötzlich auf die Straße treten, Radfahrer sich durch den Verkehr schlängeln und Fahrer nicht immer abbremsen. Deshalb ist es wichtig, Risiken frühzeitig zu erkennen.

Eine interessante Studie untersuchte diesen Ansatz anhand eines Systems namens NAVIBox, einem Edge-Vision-Gerät, das Risiken zwischen Fahrzeugen und Fußgängern direkt an der Kreuzung vorhersagen soll. Das System nutzt das Modell Ultralytics YOLOv8, um Fußgänger und Fahrzeuge zu erkennen, sowie einen leichtgewichtigen Centroid-Tracker, um sie über mehrere Bilder hinweg zu verfolgen. Dadurch entstehen kurze, zuverlässige Bewegungsverläufe, die anschließend mithilfe einer perspektivischen Transformation verfeinert werden. Diese wandelt die schräg aufgenommene CCTV-Ansicht in eine übersichtlichere Draufsicht der Straße um.

Anhand dieser verfeinerten Bewegungsbahnen kann NAVIBox abschätzen, wie sich Verkehrsteilnehmer in den nächsten Sekunden wahrscheinlich bewegen, und prüfen, ob sich ihre Bahnen kreuzen könnten (auch als Kreuzungstest bezeichnet). Erkennt das System eine gefährliche Interaktion, sendet es sofort Warnungen über Anzeigen für Fahrer und Lautsprecher für Fußgänger – ganz ohne entfernten Server oder Netzwerkverbindung. Tests an echten Orten in Städten zeigten, dass NAVIBox schnell genug für eine echte Reaktion in Echtzeit arbeitet und mögliche Kollisionsszenarien zuverlässig erkennt. Damit ist es ein praxistaugliches Sicherheitswerkzeug für belebte Stadtkreuzungen.

Abb. 5. Vorhersage des Kollisionsrisikos zwischen Fahrzeugen und Fußgängern. (Quelle)

Vor- und Nachteile der Kollisionserkennung und -vorhersage#

Hier sind einige Vorteile KI-gestützter Systeme zur Kollisionsvorhersage:

• Verbessert das Situationsbewusstsein: KI-Systeme erfassen fortlaufend die Bewegungen von Objekten in einer Umgebung und ermöglichen so ein umfassenderes Verständnis großräumiger Personenströme, des Verkehrsverhaltens oder der Bewegungsabläufe von Maschinen.

• Datengestützte Erkenntnisse für die langfristige Planung: Indem KI-Systeme Erkennungen, Beinaheunfälle und Bewegungsmuster protokollieren, liefern sie Analysen, die Stadtplaner, Sicherheitsteams und Flottenbetreiber nutzen können, um Kreuzungen neu zu gestalten, Beschilderungen zu verbessern oder betriebliche Richtlinien anzupassen.

• Kostengünstige Risikovermeidung: Indem diese Systeme Risiken erkennen, bevor sie sich verschärfen, können sie helfen, kostspielige Unfälle, Versicherungsansprüche oder Reparaturen an Geräten zu vermeiden.

Trotz ihrer Vorteile haben kollisionsfreie Systeme auch gewisse Einschränkungen. Hier sind einige Herausforderungen, die du beachten solltest:

• Einschränkungen bei der Platzierung von Sensoren und Kameras: Ungünstig positionierte oder ausgerichtete Kameras können die Größe oder Entfernung von Objekten verzerrt darstellen und dadurch die Tiefenschätzung und Bewegungsbahnprognose unzuverlässiger machen.
• Verdeckung: Objekte können teilweise oder vollständig von anderen verdeckt werden. Das erschwert die Objektverfolgung, da das Modell die visuelle Kontinuität verliert.
• Umgebungsbedingungen: Schwaches Licht, grelles Sonnenlicht, Regen, Nebel oder eine schlechte Kameraqualität können die Fähigkeit des Modells beeinträchtigen, die Szene klar zu erfassen, und so die Genauigkeit verringern.

Die wichtigsten Erkenntnisse#

Die Kollisionsvorhersage vereint zwei leistungsstarke Fähigkeiten: Computer Vision, mit der Systeme verstehen, was gerade in ihrer Umgebung geschieht, und Bewegungsbahnprognosen, mit denen sie abschätzen können, was als Nächstes wahrscheinlich passiert.

Durch die Kombination dieser Stärken können Maschinen bewegte Objekte in Echtzeit erkennen und vorhersagen, wie diese Objekte in den nächsten Sekunden miteinander interagieren könnten. Mit der Weiterentwicklung von Computer Vision und Prognoseverfahren wird die Kollisionsvorhersage wahrscheinlich eine wichtige Rolle beim Aufbau sichererer, zuverlässigerer und skalierbarer autonomer Systeme spielen.

Besuche unsere Community und unser GitHub-Repository, um mehr über KI zu erfahren. Entdecke auf unseren Lösungsseiten Anwendungen wie KI im Gesundheitswesen und Computer Vision in der Fertigung. Informiere dich über unsere Lizenzoptionen und leg noch heute mit der Entwicklung los!