Kollisionsvorhersage mit Ultralytics YOLO-Modellen verbessern

Auch wenn du dich im Straßenverkehr vorsichtig verhältst, kann es trotzdem zu Unfällen kommen. Ein Auto wechselt die Spur, ein Fußgänger überquert die Straße außerhalb eines Übergangs oder ein Radfahrer beschleunigt ohne Vorwarnung. Diese alltäglichen Situationen zeigen, wann Systeme zur Kollisionsvorhersage einen echten Unterschied machen und dazu beitragen können, alle sicher zu halten.

Zuvor haben wir uns die Vorhersage der Flugbahn eines Balls angesehen und gezeigt, wie die Prognose des Wegs eines sich schnell bewegenden Balls der Sportanalyse hilft, Bewegungen zu verstehen und vorherzusehen, was als Nächstes passiert. Die Kollisionsvorhersage funktioniert auf ähnliche Weise.

Diese Vorhersagesysteme blicken im Wesentlichen in die Zukunft. Indem sie beobachten, wie sich Fahrzeuge und Fußgänger bewegen, können sie Risiken frühzeitig erkennen und ihren Weg oder ihr Verhalten anpassen, bevor die Situation gefährlich wird (auch als Bewegungsplanung oder Wegplanung bezeichnet).

Die wichtigsten Informatiktechnologien hinter Systemen zur Kollisionsvorhersage sind künstliche Intelligenz und ihre Teilbereiche, etwa Computer Vision und Prognoseverfahren, die dabei helfen, Bewegungen vorherzusagen. So können Computer-Vision-Modelle wie Ultralytics YOLO11 und das kommende Ultralytics YOLO26 eingesetzt werden, um Objekte wie Fahrzeuge und Fußgänger in Echtzeit zu erkennen und zu verfolgen. Prognosemodelle nutzen diese Erkenntnisse anschließend, um ihre nächsten Bewegungen zu schätzen.

Abb. 1. Ein Beispiel für den Einsatz von YOLO11 zur Erkennung von Objekten auf der Straße (Quelle).

Das Ergebnis ist ein KI-System, das versteht, was in seiner Umgebung geschieht, und eine intelligentere Entscheidungsfindung in dynamischen Umgebungen unterstützt. In diesem Artikel sehen wir uns an, wie Kollisionsvorhersage funktioniert, welche Methoden dahinterstehen und welche Rolle Computer Vision und Ultralytics YOLO-Modelle dabei spielen können. Legen wir los!

Was ist Kollisionsvorhersage?#

Kollisionsvorhersage bezeichnet die Fähigkeit eines KI-Systems, zu verstehen, wie sich Objekte bewegen, und vorherzusehen, wann sie sich sehr nahekommen oder miteinander in Kontakt kommen könnten. Verschiedene Systeme können diese Informationen auf vielfältige Weise nutzen, etwa zur Unterstützung von Sicherheitsfunktionen, zur Bewegungsoptimierung oder zur Koordination von Aktionen in gemeinsam genutzten Bereichen.

Überall dort, wo sich Objekte durch gemeinsam genutzte Bereiche bewegen – ob Autos auf einer Autobahn, Gabelstapler in einem Lagergang oder Fußgänger beim Überqueren einer Straße –, hilft die Kollisionsvorhersage Systemen zu verstehen, wie sich diese Interaktionen entwickeln könnten. In sicherheitsorientierten Anwendungen kann diese vorausschauende Einschätzung genutzt werden, um Risiken zu verringern. In anderen Bereichen kann sie Aufgaben wie Routenplanung, zeitliche Koordination oder abgestimmte Bewegungen unterstützen.

So überwachen Kameras und Sensoren bei vielen neueren Fahrzeugen mit fortschrittlichen Fahrerassistenzsystemen (ADAS) die vorausliegende Straße und schätzen, wie schnell sich das Auto nahegelegenen Objekten nähert. Erkennt das System, dass eine Situation unsicher werden könnte, warnt es den Fahrer. In manchen Fällen kann eine automatische Bremsung helfen, die Aufprallfolgen zu verringern.

Die vier Phasen der Kollisionsvorhersage#

Die Kollisionsvorhersage umfasst einen abgestimmten Prozess, bei dem verschiedene KI-Komponenten zusammenarbeiten, um Objekte zu erkennen, ihre Bewegungen zu verfolgen und einzuschätzen, was als Nächstes geschehen könnte. Diese Systeme durchlaufen typischerweise vier miteinander verbundene Phasen: Objekterkennung, Objektverfolgung, Flugbahnprognose und schließlich Kollisionsvorhersage. Jede Phase baut dabei auf der Genauigkeit der vorherigen auf.

Sehen wir uns nun genauer an, wie die einzelnen Phasen funktionieren.

Ein Blick auf die Objekterkennung#

Objekterkennung ist eine zentrale Aufgabe von Computer Vision, bei der Vision-KI-Modelle Objekte in einem Bild oder Videobild identifizieren und lokalisieren. Durch die Analyse von Pixeldaten kann ein Objekterkennungsmodell drei Hauptausgaben erzeugen: Begrenzungsrahmen, Objektklassen und Konfidenzwerte. Begrenzungsrahmen zeigen, wo sich ein Objekt befindet, Objektklassen geben an, um was es sich handelt, etwa um ein Auto, einen Fußgänger oder einen Radfahrer, und Konfidenzwerte spiegeln wider, wie sicher sich das Modell bei seiner Vorhersage ist.

Vision-KI-Modelle wie YOLO11 und YOLO26 bauen auf dieser Grundlage auf und unterstützen mehrere verwandte Aufgaben, darunter Objekterkennung, Objektverfolgung und die Erkennung orientierter Begrenzungsrahmen (OBB). Die Objekterkennung kann einem Vorhersagesystem mitteilen, was in jedem Bild zu sehen ist. Die Verfolgung verfolgt diese Objekte während ihrer Bewegung, und orientierte Begrenzungsrahmen liefern genauere Formen für Objekte, die aus unterschiedlichen Winkeln erscheinen.

In dieser Phase konzentriert sich ein System zur Kollisionsvorhersage ausschließlich darauf, zu verstehen, was in den visuellen Daten vorhanden ist. Es bildet die grundlegende Informationsschicht, von der alle späteren Schritte abhängen. Wie sich Objekte bewegen oder miteinander interagieren, wird zu diesem Zeitpunkt jedoch noch nicht berücksichtigt.

Ein Überblick über die Objektverfolgung#

Sobald Objekte erkannt wurden, besteht der nächste Schritt darin, sie über mehrere Bilder hinweg zu verfolgen, damit das System versteht, wie sie sich im Laufe der Zeit bewegen. Während die Erkennung in jedem Bild neue Begrenzungsrahmen liefert, sorgt die Objektverfolgung für Kontinuität, indem sie diese Erkennungen über die Zeit hinweg miteinander verknüpft.

Von der Ultralytics Python package unterstützte Verfolgungsalgorithmen wie ByteTrack oder BoT-SORT arbeiten mit Modellen wie YOLO11. Sie nutzen die Erkennungsdaten jedes Bildes, um Objekte während ihrer Bewegung zu verfolgen. Diese Algorithmen weisen jedem Objekt eine eindeutige ID zu und verwenden sie, um die Identität des Objekts auch dann beizubehalten, wenn es sich schnell bewegt oder teilweise verdeckt wird. Dadurch entsteht eine gleichmäßige Verfolgungshistorie, die erfasst, wie sich das Objekt bewegt.

Abb. 2. Ein Blick auf die Zuweisung eindeutiger IDs für verschiedene Erkennungen mit YOLO (Quelle)

Hier ein kurzer Überblick darüber, wie diese beiden Verfolgungsmethoden funktionieren:

• ByteTrack: Verwendet Erkennungen mit hoher und niedriger Konfidenz, um konsistente Objekt-IDs beizubehalten. Bewegungsprognosen eines Kalman-Filters helfen dem Tracker, stabil zu bleiben, wenn sich Objekte schnell bewegen oder kurzzeitig schwer zu erkennen sind.
• BoT-SORT: Dieser Algorithmus erweitert SORT, indem er Bewegungsprognosen des Kalman-Filters mit Merkmalen des Erscheinungsbilds kombiniert. Dadurch kann der Tracker Objekte in dicht bevölkerten Szenen oder bei teilweiser Verdeckung zuverlässiger verfolgen.

Um zu messen, wie gut diese Verfolgungsmethoden funktionieren, bewerten Forschende sie anhand etablierter Datensätze und Benchmarks für die Verfolgung mehrerer Objekte (MOT). Zu den häufig verwendeten Metriken gehören außerdem die Genauigkeit der Verfolgung mehrerer Objekte (MOTA), die die allgemeine Verfolgungsqualität widerspiegelt, der Identifikations-F1-Wert (IDF1), der misst, wie konsistent Objektidentitäten beibehalten werden, sowie die Verfolgungsgenauigkeit höherer Ordnung (HOTA), die eine ausgewogene Bewertung von Erkennungsleistung und Zuordnungsgenauigkeit bietet.

Die Flugbahnprognose verstehen#

Nachdem ein Objekt über mehrere Bilder hinweg verfolgt wurde, besteht der nächste Schritt darin, vorherzusagen, wohin es sich als Nächstes bewegen wird. Dies wird als Flugbahnprognose bezeichnet. Während die Erkennung Objekte findet und die Verfolgung ihre Bewegungen verfolgt, blickt die Prognose voraus und schätzt ihre zukünftigen Positionen.

Die Informationen aus Erkennung und Verfolgung, etwa der Begrenzungsrahmen eines Objekts, seine Position über mehrere Bilder hinweg und die zugewiesene ID, können zur Berechnung von Bewegungsmerkmalen wie Geschwindigkeit, Richtung und Bewegungsmustern verwendet werden. Diese abgeleiteten Erkenntnisse liefern dem Prognosemodell die Daten, die es benötigt, um zu schätzen, wo sich das Objekt in den nächsten Sekunden wahrscheinlich befinden wird.

Wenn die Verfolgungsdaten Lücken oder abrupte Sprünge enthalten, helfen Interpolationstechniken dabei, gleichmäßigere und konsistentere Flugbahnen zu rekonstruieren. Dadurch erhält das Prognosemodell hochwertige Bewegungsdaten anstelle verrauschter oder unvollständiger Positionsdaten.

Abb. 3. Eine Visualisierung der Vorhersage der Flugbahn eines Autos. (Quelle)

Für diese Vorhersagen setzen viele Systeme auf Deep-Learning-Modelle, die darauf ausgelegt sind, zu verstehen, wie sich die Bewegung eines Objekts im Laufe der Zeit verändert. Durch die Analyse von Folgen vergangener Positionen und daraus abgeleiteter Bewegungsmerkmale lernen diese Modelle typische Bewegungsmuster und nutzen dieses Wissen, um zukünftige Wege vorherzusagen.

Hier sind einige häufig verwendete Deep-Learning- und Machine-Learning-Ansätze für die Flugbahnprognose:

• Rekurrente neuronale Netze (RNNs): RNNs sind Deep-Learning-Modelle, die für die Verarbeitung von Sequenzen wie einer Reihe von Videobildern entwickelt wurden. Sie können sich vorherige Positionen merken und diese Informationen nutzen, um zu verstehen, wie sich ein Objekt bewegt hat. Dadurch kann das System einfache Bewegungsmuster erkennen, etwa Beschleunigen, Abbremsen oder eine geradlinige Bewegung.

• Long Short-Term Memory-Netze (LSTMs): LSTMs sind ein fortschrittlicherer Typ von RNN, der sich Informationen über längere Zeiträume merken kann. Dadurch können sie komplexere Bewegungen erfassen, etwa wenn ein Fahrzeug zum Abbiegen ansetzt oder ein Fußgänger die Richtung ändert. Da sie längerfristige Trends verfolgen können, liefern sie in belebten Umgebungen häufig zuverlässigere Vorhersagen.

• Transformer: Transformer verarbeiten vollständige Bewegungssequenzen und nutzen Aufmerksamkeitsmechanismen, um sich auf die wichtigsten Details dieser Sequenzen zu konzentrieren. Dadurch eignen sie sich besonders gut für Szenen, in denen mehrere Objekte miteinander interagieren, etwa beim Zusammenführen von Autos oder beim Überqueren einer Straße durch Fußgänger.

Diese Modelle können sowohl kurzfristige als auch längerfristige Wege vorhersagen. Kurzfristige Prognosen, in der Regel für weniger als zwei Sekunden, sind meist am genauesten. Vorhersagen über längere Zeitfenster von beispielsweise zwei bis sechs Sekunden bieten zwar mehr Vorlauf, sind aber mit größerer Unsicherheit verbunden.

Alles zusammenführen: Algorithmen zur Kollisionsprüfung#

In der letzten Phase, der Kollisionsvorhersage, nutzt das System alles, was es bisher gelernt hat: was jedes Objekt ist (Erkennung), wie es sich bewegt hat (Verfolgung) und wohin es sich wahrscheinlich als Nächstes bewegt (Prognose). In diesem Schritt wird geprüft, ob sich vorhergesagte Wege so überschneiden könnten, dass es zu einer Kollision kommt.

Abb. 4. Funktionsweise eines Systems zur Kollisionsvorhersage (Quelle)

Bei autonomen Fahrzeugen vergleicht ein System zur Kollisionsprüfung die zukünftigen Flugbahnen nahegelegener Objekte wie Autos, Fußgänger und Radfahrer. Wenn sich zwei vorhergesagte Wege überschneiden oder gefährlich nahekommen, kennzeichnet das System die Situation als mögliche Fahrzeugkollision. Um einzuschätzen, wie dringend das Kollisionsrisiko ist, berechnet das System außerdem einen Wert, der als Zeit bis zur Kollision bezeichnet wird.

Die Zeit bis zur Kollision (TTC) ist eine wichtige Messgröße in Umgebungen mit schnellen Bewegungen. Sie schätzt, wie viel Zeit verbleibt, bevor zwei Objekte kollidieren würden, wenn sie ihre aktuelle Geschwindigkeit und Richtung beibehalten. Sinkt die TTC unter einen bestimmten Schwellenwert, kann das System mit Warnungen, einer Bremsung oder einer Anpassung des geplanten Wegs reagieren.

Anwendungen der Kollisionsvorhersage in der Praxis#

Die Kollisionsvorhersage wird in vielen Branchen immer wichtiger, darunter Verkehrsmanagement, intelligente Stadtinfrastruktur, industrielle Automatisierung und mobile Robotik. Da sich hochmoderne Computer-Vision- und Prognosemodelle weiterentwickeln, werden diese Systeme zunehmend leistungsfähiger darin, Bewegungen vorherzusehen.

Nachdem wir nun besser verstanden haben, wie Kollisionsvorhersage und Flugbahnprognose funktionieren, sehen wir uns einige interessante Forschungsarbeiten an, die zeigen, wie diese Methoden in verschiedenen realen Umgebungen eingesetzt werden können.

Kollisionsvorhersage für autonome Einsatzfahrzeuge mit YOLO#

Die Navigation durch überfüllte, unvorhersehbare Umgebungen gehört zu den schwierigsten Herausforderungen für autonome Systeme, insbesondere wenn sich Fußgänger auf eine Weise bewegen, die keinen klaren Mustern folgt. Einsatzfahrzeuge stehen noch häufiger vor diesem Problem, da sie sich mit hoher Geschwindigkeit durch dicht besiedelte öffentliche Bereiche bewegen müssen, ohne auf strukturierte Straßen, Fahrbahnmarkierungen oder vorhersehbares Verhalten von Fußgängern angewiesen zu sein.

In solchen Szenarien ist es entscheidend, zu verstehen, wo sich Menschen befinden und wie sie sich in den nächsten Sekunden bewegen könnten, um Unfälle zu vermeiden. Eine aktuelle Forschungsarbeit untersuchte diese Herausforderung beispielsweise durch die Entwicklung einer vollständigen Pipeline zur Kollisionsvorhersage für ein autonomes Einsatzfahrzeug (EAV), das in Umgebungen mit vielen Fußgängern eingesetzt wird.

Funktionsweise der Pipeline zur Kollisionsvorhersage mit YOLO#

Hier ein kurzer Überblick darüber, wie diese Methodik funktioniert:

• Fußgängererkennung mit YOLO: Ein YOLO-basierter Detektor erkennt Fußgänger in jedem Kamerabild und gibt für jede sichtbare Person einen Begrenzungsrahmen aus.
• Bewegungsverfolgung mit ByteTrack: Der ByteTrack-Algorithmus verknüpft diese Erkennungen über mehrere Bilder hinweg, weist jedem Fußgänger eine konsistente ID zu und erstellt eine Bewegungshistorie, die zeigt, wie er sich im Laufe der Zeit bewegt.
• Schätzung der Position in der realen Welt: Die inverse perspektivische Abbildung (IPM) wandelt zweidimensionale Pixelkoordinaten in ungefähre Positionen auf der Bodenebene um. Dadurch kann das System verstehen, wo sich Fußgänger im realen Raum relativ zum Fahrzeug befinden.
• Erzeugung einer Draufsicht mit einem cGAN: Ein bedingtes GAN, also ein KI-Modell, das ein Bildformat in ein anderes überträgt, erstellt eine Draufsicht der Szene. Diese Ansicht von oben erleichtert die Interpretation der Positionen von Fußgängern und ihrer Umgebung.
• Flugbahnvorhersage mit einem LSTM-Modell: Mithilfe der vergangenen Positionen und Bewegungsmuster jedes Fußgängers sagt ein LSTM-Modell voraus, wohin er sich in den nächsten Sekunden wahrscheinlich bewegen wird.
• Effiziente Kollisionsprüfung mit Kollisionskegeln: Die vorhergesagten Flugbahnen werden mithilfe der Kollisionskegel-Methode verglichen. Dabei wird bestimmt, ob der Weg des Fahrzeugs und eines Fußgängers voraussichtlich zusammentreffen.
• Kollisionsvermeidung durch Signale: Sagt das System eine Kollision voraus, aktiviert es zum optimalen Zeitpunkt ein akustisches Signal, etwa eine Hupe oder Klingel. Der Zeitpunkt wird so gewählt, dass er das Verhalten der Fußgänger beeinflusst und ihnen die Möglichkeit gibt, schneller oder langsamer zu werden und einen sicheren Ort zu erreichen.

Fußgängersicherheit in Städten mit Edge Vision und YOLO#

Ein anderer Ansatz zur Kollisionsvermeidung geht ebenfalls über Fahrzeuge hinaus und konzentriert sich auf die Infrastruktur selbst. Statt auf Sensoren im Auto setzt diese Methode auf intelligente Kameras an Fußgängerüberwegen und Kreuzungen, die die Bewegungen von Fußgängern und Fahrzeugen in Echtzeit überwachen. Diese Orte sind oft unvorhersehbar: Menschen können plötzlich auf die Straße treten, Radfahrer sich durch den Verkehr schlängeln und Fahrer nicht immer abbremsen. Daher ist es entscheidend, Risiken frühzeitig zu erkennen.

Eine interessante Studie untersuchte diese Idee anhand eines Systems namens NAVIBox, eines Edge-Vision-Geräts, das Risiken zwischen Fahrzeugen und Fußgängern direkt an der Kreuzung vorhersagen soll. Das System verwendet das Ultralytics YOLOv8-Modell, um Fußgänger und Fahrzeuge zu erkennen, sowie einen schlanken Centroid-Tracker, um sie über mehrere Bilder hinweg zu verfolgen. Dadurch entstehen kurze, zuverlässige Bewegungshistorien, die anschließend mithilfe einer perspektivischen Transformation verfeinert werden. Diese wandelt die schräge CCTV-Ansicht in eine klarere Draufsicht der Straße um.

Mit diesen verfeinerten Flugbahnen kann NAVIBox schätzen, wie sich Verkehrsteilnehmer in den nächsten Sekunden wahrscheinlich bewegen werden, und prüfen, ob sich ihre Wege überschneiden könnten (auch als Schnittmengentest bezeichnet). Erkennt das System eine riskante Interaktion, sendet es sofort Warnungen über Anzeigen für Fahrer und Lautsprecher für Fußgänger – ohne auf einen entfernten Server oder eine Netzwerkverbindung angewiesen zu sein. Tests an realen Orten in Städten zeigten, dass NAVIBox schnell genug für eine echte Reaktion in Echtzeit arbeitet und potenzielle Kollisionsszenarien zuverlässig erkennen kann. Damit ist es ein praktisches Sicherheitswerkzeug für stark frequentierte Kreuzungen.

Abb. 5. Vorhersage des Kollisionsrisikos zwischen Fahrzeugen und Fußgängern. (Quelle)

Vor- und Nachteile der Kollisionserkennung und -vorhersage#

Hier sind einige Vorteile des Einsatzes KI-gestützter Systeme zur prädiktiven Kollisionsvermeidung:

• Verbessertes Situationsbewusstsein: KI-Systeme erfassen kontinuierlich, wie sich Objekte in einer Umgebung bewegen, und vermitteln dadurch ein umfassenderes Verständnis großräumiger Bewegungen von Menschenmengen, des Verkehrsverhaltens oder der Wege von Maschinen.

• Datengestützte Erkenntnisse für die langfristige Planung: Durch das Protokollieren von Erkennungen, Beinaheunfällen und Bewegungsmustern liefern KI-Systeme Analysen, die Stadtplaner, Sicherheitsteams und Flottenbetreiber zur Neugestaltung von Kreuzungen, Verbesserung der Beschilderung oder Überarbeitung betrieblicher Richtlinien nutzen können.

• Kostengünstige Risikovermeidung: Indem diese Systeme Risiken erkennen, bevor sie eskalieren, können sie dazu beitragen, kostspielige Unfälle, Versicherungsansprüche oder Reparaturen an Ausrüstung zu vermeiden.

Trotz ihrer Vorteile stoßen kollisionsfreie Systeme auch auf bestimmte Einschränkungen. Hier sind einige Herausforderungen, die du berücksichtigen solltest:

• Einschränkungen bei der Platzierung von Sensoren und Kameras: Ungünstig positionierte oder ausgerichtete Kameras können Objektgröße oder Entfernung verzerren und dadurch Tiefenschätzung und Flugbahnprognose unzuverlässiger machen.
• Verdeckung: Objekte können teilweise oder vollständig von anderen verdeckt werden. Dadurch wird die Objektverfolgung erschwert, da das Modell die visuelle Kontinuität verliert.
• Umgebungsbedingungen: Schwache Beleuchtung, grelles Sonnenlicht, Regen, Nebel oder eine schlechte Kameraqualität können die Fähigkeit des Modells beeinträchtigen, die Szene klar zu erkennen, und dadurch die Genauigkeit verringern.

Wichtige Erkenntnisse#

Die Kollisionsvorhersage verbindet zwei leistungsstarke Fähigkeiten: Computer Vision, die es Systemen ermöglicht, zu verstehen, was gerade in der Umgebung geschieht, und die Flugbahnprognose, die ihnen hilft, vorherzusehen, was als Nächstes wahrscheinlich passieren wird.

Durch die Kombination dieser Stärken können Maschinen bewegte Objekte in Echtzeit erkennen und vorhersagen, wie diese Objekte in den kommenden Sekunden miteinander interagieren könnten. Da sich Computer Vision und Prognoseverfahren weiterentwickeln, wird die Kollisionsvorhersage wahrscheinlich zu einem zentralen Baustein für sicherere, zuverlässigere und skalierbare autonome Systeme.

Besuche unsere Community und unser GitHub-Repository, um mehr über KI zu erfahren. Entdecke auf unseren Lösungsseiten Anwendungen wie KI im Gesundheitswesen und Computer Vision in der Fertigung. Informiere dich über unsere Lizenzierungsoptionen und beginne noch heute mit der Entwicklung!