Verbesserung der Kollisionsvorhersage mit Ultralytics YOLO-Modellen

Trotz Vorsicht im Straßenverkehr können Unfälle passieren. Ein Auto wechselt die Spur, ein Fußgänger überquert die Straße bei Rot oder ein Radfahrer beschleunigt ohne Vorwarnung. Solche alltäglichen Momente zeigen, wann Kollisionsvorhersagesysteme einen echten Unterschied machen und dazu beitragen können, alle zu schützen.

Zuvor haben wir uns mit der ball trajectory prediction beschäftigt und gesehen, wie die Vorhersage der Bahn eines sich schnell bewegenden Balls der Sportanalyse hilft, Bewegungen zu verstehen und vorauszusehen, was als Nächstes passiert. Die Kollisionsvorhersage funktioniert auf ähnliche Weise.

Diese Vorhersagesysteme blicken im Grunde in die Zukunft. Indem sie beobachten, wie sich Fahrzeuge und Fußgänger bewegen, können sie Risiken frühzeitig erkennen und ihren Pfad oder ihr Verhalten anpassen, bevor (was auch als Bewegungsplanung oder Pfadplanung bekannt ist) die Situation gefährlich wird.

Die wichtigsten Informatiktechnologien hinter Kollisionsvorhersagesystemen sind Künstliche Intelligenz und ihre Teilbereiche wie computer vision sowie Prognosemethoden, die helfen vorherzusagen, wie sich Dinge bewegen werden. Beispielsweise können Computer-Vision-Modelle wie Ultralytics YOLO11 und das kommende Ultralytics YOLO26 verwendet werden, um Objekte wie Fahrzeuge und Fußgänger in Echtzeit zu erkennen und zu verfolgen, und Prognosemodelle nutzen diese Erkenntnisse, um ihre nächsten Bewegungen einzuschätzen.

Abb. 1: Ein Beispiel für die Verwendung von YOLO11 zur Erkennung von Objekten auf der Straße (Quelle).

Das Ergebnis ist ein KI-System, das versteht, was in seiner Umgebung geschieht, und eine intelligentere Entscheidungsfindung in dynamischen Umgebungen unterstützt. In diesem Artikel untersuchen wir, wie Kollisionsvorhersage funktioniert, welche Methoden dahinterstecken und welche Rolle Computer Vision und Ultralytics YOLO-Modelle dabei spielen können. Fangen wir an!

Was ist eine Kollisionsvorhersage?#

Kollisionsvorhersage ist die Fähigkeit eines KI-Systems, zu verstehen, wie sich Objekte bewegen, und vorherzusehen, wann sie sich sehr nahe kommen oder in Kontakt treten könnten. Verschiedene Systeme nutzen diese Informationen auf vielfältige Weise, etwa zur Unterstützung von Sicherheitsfunktionen, zur Bewegungsoptimierung oder zur Koordinierung von Aktionen in gemeinsam genutzten Räumen.

Überall dort, wo sich Objekte durch einen geteilten Raum bewegen – seien es Autos auf einer Autobahn, forklifts in a warehouse-Gänge oder Fußgänger, die eine Straße überqueren –, hilft die Kollisionsvorhersage Systemen zu verstehen, wie sich diese Interaktionen entwickeln könnten. In sicherheitsorientierten Anwendungen kann diese Voraussicht genutzt werden, um Risiken zu reduzieren, während sie in anderen Umgebungen Aufgaben wie Routenplanung, Timing oder koordinierte Bewegungen unterstützen kann.

Beispielsweise überwachen in vielen neueren Fahrzeugen, die mit Fahrerassistenzsystemen (ADAS) ausgestattet sind, Kameras und Sensoren die vor ihnen liegende Straße und schätzen ab, wie schnell sich das Auto nahen Objekten nähert. Wenn das System erkennt, dass eine Situation unsicher werden könnte, warnt es den Fahrer, und in einigen Fällen kann eine automatische Bremsung helfen, den Aufprall zu reduzieren.

Die vier Stufen der Kollisionsvorhersage erforschen#

Die Kollisionsvorhersage umfasst einen koordinierten Prozess, bei dem verschiedene KI-Komponenten zusammenarbeiten, um Objekte zu identifizieren, deren Bewegung zu verfolgen und abzuschätzen, was als Nächstes geschehen könnte. Diese Systeme arbeiten typischerweise in vier miteinander verbundenen Stufen: Objekterkennung, Objektverfolgung, Trajektorienvorhersage und schließlich Kollisionsvorhersage, wobei jede Stufe auf der Genauigkeit der vorherigen aufbaut.

Als Nächstes schauen wir uns genauer an, wie die einzelnen Stufen funktionieren.

Ein Blick auf die Objekterkennung#

Object detection ist eine zentrale Computer-Vision-Aufgabe, bei der Vision-AI-Modelle Objekte in einem Bild oder Videoframe identifizieren und lokalisieren. Durch die Analyse von Pixeldaten kann ein Objekterkennungsmodell drei Hauptausgaben liefern: Bounding Boxes, Objektklassen und Konfidenzwerte. Bounding Boxes zeigen, wo sich ein Objekt befindet, Objektklassen geben an, was es ist (wie ein Auto, ein Fußgänger oder ein Radfahrer), und Konfidenzwerte spiegeln wider, wie sicher das Modell bezüglich der Vorhersage ist.

Vision-KI-Modelle wie YOLO11 und YOLO26 bauen auf diesem Fundament auf und unterstützen verschiedene verwandte Aufgaben, darunter Objekterkennung, Objektverfolgung und Orientierte-Bounding-Box-Detektion (OBB). Die Objekterkennung kann einem Vorhersagesystem sagen, was in jedem Frame zu sehen ist, die Verfolgung folgt diesen Objekten bei ihrer Bewegung, und orientierte Bounding Boxes bieten genauere Formen für Objekte, die aus verschiedenen Winkeln erscheinen.

Auf dieser Stufe konzentriert sich ein Kollisionsvorhersagesystem rein darauf zu verstehen, was in den visuellen Daten vorhanden ist. Dies bildet die Basisinformation, von der alle nachfolgenden Schritte abhängen, aber es berücksichtigt noch nicht, wie sich die Objekte bewegen oder interagieren werden.

Ein Überblick über die Objektverfolgung#

Sobald Objekte erkannt wurden, besteht der nächste Schritt darin, sie über Frames hinweg zu verfolgen, damit das System verstehen kann, wie sie sich im Laufe der Zeit bewegen. Während die Erkennung in jedem Frame neue Bounding Boxes liefert, sorgt object tracking für Kontinuität, indem diese Erkennungen über die Zeit verknüpft werden.

Tracking-Algorithmen, die vom Ultralytics Python package unterstützt werden, wie ByteTrack oder BoT-SORT, arbeiten mit Modellen wie YOLO11 zusammen, indem sie die Erkennungsdaten aus jedem Frame nutzen, um Objekten bei ihrer Bewegung zu folgen. Diese Algorithmen weisen jedem Objekt eine eindeutige ID zu und verwenden diese, um die Identität auch dann beizubehalten, wenn sich das Objekt schnell bewegt oder teilweise verdeckt wird. Dadurch entsteht eine flüssige Tracking-Historie, die erfasst, wie sich das Objekt bewegt.

Abb. 2: Ein Blick auf die Zuweisung eindeutiger IDs für verschiedene Erkennungen mithilfe von YOLO (Quelle)

Hier ist ein kurzer Einblick, wie diese beiden Verfolgungsmethoden funktionieren:

• ByteTrack: Er verwendet sowohl Erkennungen mit hoher als auch mit niedriger Konfidenz, um konsistente Objekt-IDs beizubehalten. Dabei helfen Bewegungsvorhersagen eines Kalman-Filters dem Tracker, stabil zu bleiben, wenn sich Objekte schnell bewegen oder kurzzeitig schwer zu erkennen sind.
• BoT-SORT: Dieser Algorithmus erweitert SORT durch die Kombination von Kalman-Filter-Bewegungsvorhersagen mit Erscheinungsmerkmalen, wodurch der Tracker Objekte auch in überfüllten Szenen oder bei teilweiser Verdeckung zuverlässiger verfolgen kann.

Um die Leistung dieser Verfolgungsmethoden zu messen, evaluieren Forscher sie anhand etablierter Multi-Object-Tracking (MOT)-Datensätze und Benchmarks. Zu den häufig verwendeten Metriken gehören die Multiple Object Tracking Accuracy (MOTA), die die allgemeine Verfolgungsqualität widerspiegelt; der Identification F1 Score (IDF1), der misst, wie konsistent Objektidentitäten beibehalten werden; sowie die Higher Order Tracking Accuracy (HOTA), die eine ausgewogene Sicht auf sowohl Erkennungsleistung als auch Assoziationsgenauigkeit bietet.

Trajektorienvorhersage verstehen#

Nachdem ein Objekt über mehrere Bilder hinweg verfolgt wurde, ist der nächste Schritt vorherzusagen, wohin es als Nächstes gehen wird. Dies nennt man Trajektorienvorhersage. Während die Erkennung Objekte findet und die Verfolgung deren Bewegung nachvollzieht, schaut die Vorhersage voraus und schätzt zukünftige Positionen ab.

Die Informationen aus Erkennung und Verfolgung, wie etwa die Bounding Box eines Objekts, die Position über Bilder hinweg und die zugewiesene ID, können zur Berechnung von Bewegungsmerkmalen wie Geschwindigkeit, Richtung und Bewegungsmustern verwendet werden. Diese abgeleiteten Erkenntnisse geben dem Prognosemodell die Daten, die es benötigt, um abzuschätzen, wo sich das Objekt in den nächsten Sekunden wahrscheinlich befinden wird.

In Fällen, in denen Verfolgungsdaten Lücken oder abrupte Sprünge aufweisen, helfen Interpolationstechniken, glattere und konsistentere Trajektorien zu rekonstruieren. Dies stellt sicher, dass das Prognosemodell qualitativ hochwertige Bewegungseingaben erhält anstatt verrauschter oder unvollständiger Positionsdaten.

Abb. 3: Eine Visualisierung der Vorhersage der Trajektorie eines Autos. (Quelle)

Um diese Vorhersagen zu treffen, setzen viele Systeme auf Deep-Learning-Modelle, die darauf ausgelegt sind, zu verstehen, wie sich die Bewegung eines Objekts im Laufe der Zeit verändert. Durch die Analyse von Sequenzen vergangener Positionen und daraus abgeleiteter Bewegungsmerkmale erlernen diese Modelle allgemeine Bewegungsmuster und nutzen dieses Wissen, um zukünftige Pfade vorherzusagen.

Hier sind einige häufig verwendete Deep-Learning- und Machine-Learning-Ansätze für die Trajektorienvorhersage:

• Rekurrente Neuronale Netze (RNNs): RNNs sind Deep-Learning-Modelle, die für die Arbeit mit Sequenzen ausgelegt sind, wie etwa eine Reihe von Videobildern. Sie können ein Gedächtnis für vorherige Positionen behalten und diese Informationen nutzen, um zu verstehen, wie sich ein Objekt bewegt hat. Dies hilft dem System, einfache Bewegungsmuster wie Beschleunigen, Verlangsamen oder geradeaus Fahren zu erkennen.

• Long Short-Term Memory Networks (LSTMs): LSTMs sind ein fortgeschrittenerer Typ von RNNs, der sich Informationen über längere Zeiträume merken kann. Dies ermöglicht es ihnen, komplexere Bewegungen zu erfassen, wie beispielsweise ein sich auf das Abbiegen vorbereitendes Fahrzeug oder einen die Richtung ändernden Fußgänger. Da sie längere Trends verfolgen können, liefern sie in geschäftigen Umgebungen oft zuverlässigere Vorhersagen.

• Transformers: Transformers verarbeiten vollständige Bewegungsequenzen und nutzen Attention, um sich auf die wichtigsten Details dieser Sequenzen zu konzentrieren. Dies macht sie besonders effektiv in Szenen, in denen mehrere Objekte interagieren, wie etwa einfädelnde Autos oder kreuzende Fußgänger.

Diese Modelle können sowohl kurzfristige als auch längerfristige Pfade vorhersagen. Kurzfristige Prognosen, die normalerweise unter zwei Sekunden liegen, sind tendenziell am genauesten, während Vorhersagen über längere Zeitfenster, wie etwa zwei bis sechs Sekunden, mehr Voraussicht bieten, aber mit größerer Unsicherheit verbunden sind.

Alles zusammenbringen: Kollisionserkennungsalgorithmen#

In der letzten Stufe, der Kollisionsvorhersage, nutzt das System alles, was es bisher gelernt hat: was jedes Objekt ist (Erkennung), wie es sich bewegt hat (Verfolgung) und wohin es sich wahrscheinlich als Nächstes bewegen wird (Prognose). Dieser Schritt prüft, ob sich irgendwelche der vorhergesagten Pfade so kreuzen könnten, dass dies zu einer Kollision führt.

Abb. 4: Wie ein Kollisionsvorhersagesystem funktioniert (Quelle)

Im Fall autonomer Fahrzeuge vergleicht ein Kollisionsprüfungssystem die zukünftigen Trajektorien naher Objekte wie Autos, Fußgänger und Radfahrer. Wenn sich zwei vorhergesagte Pfade überschneiden oder gefährlich nahe kommen, markiert das System die Situation als potenzielle Fahrzeugkollision. Um zu verstehen, wie dringend das Kollisionsrisiko sein könnte, berechnet das System zudem einen Wert, der als Time-to-Collision (TTC) bekannt ist.

Time-to-Collision (TTC) ist eine Schlüsselmessgröße in sich schnell bewegenden Umgebungen. Sie schätzt ab, wie viel Zeit verbleibt, bis zwei Objekte zusammenstoßen würden, wenn sie ihre aktuelle Geschwindigkeit und Richtung beibehalten. Wenn die TTC unter einen bestimmten Schwellenwert fällt, kann das System reagieren, indem es Warnungen ausgibt, bremst oder seinen geplanten Pfad anpasst.

Reale Anwendungen der Kollisionsvorhersage#

Kollisionsvorhersage wird in vielen Branchen immer wichtiger, darunter Verkehrsmanagement, Smart-City-Infrastruktur, industrielle Automatisierung und mobile Robotik. Da moderne Computer-Vision- und Prognosemodelle weiter voranschreiten, werden diese Systeme immer fähiger, Bewegungen zu antizipieren.

Nachdem wir nun ein besseres Verständnis davon haben, wie Kollisionsvorhersage und Trajektorienprognose funktionieren, schauen wir uns einige interessante Forschungsstudien an, die zeigen, wie diese Methoden in verschiedenen realen Umgebungen eingesetzt werden können.

YOLO-gestützte Kollisionsvorhersage für autonome Rettungsfahrzeuge#

Die Navigation in überfüllten, unvorhersehbaren Umgebungen ist eine der größten Herausforderungen für autonome Systeme, besonders wenn sich Fußgänger auf eine Weise bewegen, die keinen klaren Mustern folgt. Rettungsfahrzeuge stehen noch häufiger vor diesem Problem, da sie sich schnell und mit hoher Geschwindigkeit durch dichte öffentliche Bereiche bewegen müssen, ohne sich auf strukturierte Straßen, Fahrbahnmarkierungen oder vorhersehbares Fußgängerverhalten verlassen zu können.

In Szenarien dieser Art ist es unerlässlich zu verstehen, wo sich Personen befinden und wie sie sich in den nächsten Sekunden bewegen könnten, um Unfälle zu vermeiden. Beispielsweise untersuchte eine aktuelle Forschungsstudie diese Herausforderung durch den Aufbau einer vollständigen collision prediction pipeline für ein autonomes Notarzteinsatzfahrzeug (EAV), das in fußgängerreichen Umgebungen betrieben wird.

Wie die YOLO-gestützte Kollisionsvorhersage-Pipeline funktioniert#

Hier ist ein kurzer Einblick, wie diese Methodik funktioniert:

• Fußgängererkennung mit YOLO: Ein YOLO-basierter Detektor identifiziert Fußgänger in jedem Kamerabild und gibt Bounding Boxes für jede sichtbare Person aus.
• Bewegungsverfolgung mit ByteTrack: Der ByteTrack-Algorithmus verknüpft diese Erkennungen über Bilder hinweg, gibt jedem Fußgänger eine konsistente ID und erstellt eine Bewegungshistorie, die zeigt, wie sie sich im Laufe der Zeit bewegen.
• Positionsbestimmung in der realen Welt: Inverse Perspective Mapping (IPM) wandelt 2D-Pixelkoordinaten in ungefähre Bodenpositionen um und hilft dem System zu verstehen, wo sich Fußgänger im realen Raum relativ zum Fahrzeug befinden.
• Erzeugung einer Vogelperspektive mittels cGAN: Ein konditionales GAN, ein KI-Modell, das ein Bildformat in ein anderes übersetzt, erstellt eine Vogelperspektivendarstellung der Szene. Dieser Top-Down-Aufbau erleichtert die Interpretation von Fußgängerpositionen und deren Umgebung.
• Trajektorienvorhersage mit einem LSTM-Modell: Unter Verwendung der vergangenen Positionen und Bewegungsmuster jedes Fußgängers sagt ein LSTM-Modell vorher, wohin sie sich in den nächsten Sekunden wahrscheinlich bewegen werden.
• Effiziente Kollisionserkennung mittels Kollisionskegeln: Die vorhergesagten Trajektorien werden mithilfe der Kollisionskegel-Methode verglichen, die bestimmt, ob die Pfade des Fahrzeugs und eines Fußgängers kollidieren könnten.
• Kollisionsvermeidung durch Signalgebung: Wenn das System eine Kollision vorhersagt, aktiviert es im optimalen Moment ein akustisches Signal (wie eine Hupe oder Glocke). Das Timing wird so gewählt, dass das Verhalten der Fußgänger beeinflusst wird und sie die Chance haben, zu beschleunigen oder zu verlangsamen und sich in Sicherheit zu bringen.

Fußgängersicherheit in Städten mittels Edge Vision und YOLO gewährleisten#

Ähnlich blickt ein weiterer Ansatz zur Kollisionsverhinderung über Fahrzeuge hinaus und konzentriert sich auf die Infrastruktur selbst. Statt sich auf Sensoren in einem Auto zu verlassen, nutzt diese Methode intelligente Kameras an Zebrastreifen und Kreuzungen, um in Echtzeit zu überwachen, wie sich Fußgänger und Fahrzeuge bewegen. Diese Orte sind oft unvorhersehbar; Menschen können plötzlich auf die Straße treten, Radfahrer durch den Verkehr schlängeln und Fahrer nicht immer abbremsen – daher ist die frühzeitige Erkennung von Risiken entscheidend.

Eine interessante Studie untersuchte diese Idee anhand eines Systems namens NAVIBox, einem Edge-Vision-Gerät, das entwickelt wurde, um Fahrzeug-Fußgänger-Risiken direkt an der Kreuzung vorherzusagen. Das System verwendet das Modell Ultralytics YOLOv8 zur Erkennung von Fußgängern und Fahrzeugen sowie einen leichten Centroid-Tracker, um ihnen über Frames hinweg zu folgen. Dadurch entstehen kurze, zuverlässige Bewegungshistorien, die anschließend mithilfe einer Perspektivtransformation verfeinert werden, die die schräge CCTV-Ansicht in ein klareres Vogelperspektiven-Layout der Straße umwandelt.

Mit diesen verfeinerten Trajektorien kann NAVIBox abschätzen, wie sich Verkehrsteilnehmer in den nächsten Sekunden wahrscheinlich bewegen werden, und prüfen, ob sich ihre Pfade überschneiden könnten (auch als Schnittpunkttest bezeichnet). Wenn das System eine riskante Interaktion erkennt, sendet es sofort Warnungen über Anzeigen für Fahrer und Lautsprecher für Fußgänger – ohne auf einen Remote-Server oder eine Netzwerkverbindung angewiesen zu sein. Tests an realen städtischen Standorten zeigten, dass NAVIBox schnell genug für eine echte Echtzeitreaktion läuft und potenzielle Kollisionsszenarien präzise identifizieren kann, was es zu einem praktischen Sicherheitswerkzeug für belebte Stadtkreuzungen macht.

Abb. 5: Vorhersage des Kollisionsrisikos zwischen Fahrzeugen und Fußgängern. (Quelle)

Vor- und Nachteile der Kollisionserkennung und -vorhersage#

Hier sind einige Vorteile des Einsatzes KI-gestützter prädiktiver Kollisionssysteme:

• Verbessert das Situationsbewusstsein: KI-Systeme bilden kontinuierlich ab, wie sich Objekte in einer Umgebung bewegen, und bieten ein reichhaltigeres Verständnis von großskaligem Menschenstrom, Verkehrsverhalten oder Maschinenpfaden.

• Datengesteuerte Erkenntnisse für die langfristige Planung: Durch die Protokollierung von Erkennungen, Beinahe-Unfällen und Bewegungsmustern liefern KI-Systeme Analysen, die Stadtplaner, Sicherheitsteams und Flottenbetreiber nutzen können, um Kreuzungen neu zu gestalten, Beschilderungen zu verbessern oder operative Richtlinien zu verfeinern.

• Kosteneffiziente Risikoprävention: Durch die Erkennung von Risiken, bevor sie eskalieren, können diese Systeme dazu beitragen, kostspielige Unfälle, Versicherungsansprüche oder Gerätereparaturen zu vermeiden.

Trotz ihrer Vorteile stehen kollisionsfreie Systeme auch vor gewissen Einschränkungen. Hier sind einige Herausforderungen, die es zu berücksichtigen gilt:

• Einschränkungen bei der Sensor- und Kameraplatzierung: Schlecht positionierte oder ausgerichtete Kameras können Objektgröße oder -abstand verzerren, was die Tiefenschätzung und Trajektorienvorhersage weniger zuverlässig macht.
• Verdeckung: Objekte können hinter anderen teilweise oder vollständig verborgen sein. Dies erschwert die Objektverfolgung, da das Modell die visuelle Kontinuität verliert.
• Umgebungsbedingungen: Schwache Beleuchtung, grelles Sonnenlicht, Regen, Nebel oder schlechte Kameraqualität können die Fähigkeit des Modells, die Szene klar zu sehen, verringern und die Genauigkeit beeinträchtigen.

Wichtige Erkenntnisse#

Die Kollisionsvorhersage vereint zwei leistungsstarke Fähigkeiten: Computer Vision, die es Systemen ermöglicht zu verstehen, was aktuell in der Umgebung geschieht, und Trajektorienprognose, die dabei hilft zu antizipieren, was als Nächstes wahrscheinlich passieren wird.

Durch die Kombination dieser Stärken können Maschinen bewegte Objekte in Echtzeit erkennen und vorhersagen, wie diese Objekte in den kommenden Sekunden interagieren könnten. Während sich Computer-Vision- und Prognoseverfahren weiterentwickeln, wird die Kollisionsvorhersage wahrscheinlich zum Schlüssel für den Bau sichererer, zuverlässigerer und skalierbarer autonomer Systeme.

Besuche unsere community und unser GitHub repository, um mehr über KI zu erfahren. Entdecke Anwendungen wie AI in healthcare und computer vision in manufacturing auf unseren Lösungsseiten. Entdecke unsere licensing options und beginne noch heute mit der Entwicklung!