Улучшение прогнозирования столкновений с помощью моделей Ultralytics YOLO

Даже если соблюдать осторожность на дороге, аварии всё равно могут произойти. Автомобиль перестраивается, пешеход переходит дорогу в неположенном месте или велосипедист внезапно ускоряется. Такие повседневные ситуации показывают, насколько системы прогнозирования столкновений могут изменить ситуацию и помочь обеспечить безопасность всех участников движения.

Ранее мы рассмотрели прогнозирование траектории мяча и увидели, как прогнозирование пути быстро движущегося мяча помогает спортивной аналитике понимать движение и предугадывать дальнейшее развитие событий. Прогнозирование столкновений работает похожим образом.

По сути, эти системы прогнозирования заглядывают в будущее. Наблюдая за движением автомобилей и пешеходов, они могут заранее обнаружить риски и скорректировать траекторию или поведение до того, как ситуация станет опасной (это также называют планированием движения или планированием пути).

Ключевые технологии информатики, лежащие в основе систем прогнозирования столкновений, — это искусственный интеллект и его подразделы, такие как компьютерное зрение, а также методы прогнозирования, помогающие предсказать, как будут двигаться объекты. Например, модели компьютерного зрения, такие как Ultralytics YOLO11 и будущая Ultralytics YOLO26, могут использоваться для обнаружения и отслеживания таких объектов, как автомобили и пешеходы, в реальном времени, а модели прогнозирования применяют эти данные для оценки их дальнейшего движения.

Рис. 1. Пример использования YOLO11 для обнаружения объектов на дороге (источник).

В результате получается система искусственного интеллекта, которая понимает, что происходит вокруг неё, и помогает принимать более продуманные решения в динамичных условиях. В этой статье мы рассмотрим, как работает прогнозирование столкновений, какие методы лежат в его основе и какую роль в этом процессе могут играть компьютерное зрение и модели Ultralytics YOLO. Начнём!

Что такое прогнозирование столкновений?#

Прогнозирование столкновений — это способность системы искусственного интеллекта понимать, как движутся объекты, и предугадывать, когда они могут приблизиться друг к другу или соприкоснуться. Разные системы могут использовать эту информацию по-разному: для поддержки функций безопасности, оптимизации движения или координации действий в общих пространствах.

Где бы объекты ни перемещались в общем пространстве — будь то автомобили на шоссе, погрузчики в проходе склада или пешеходы, переходящие улицу, — прогнозирование столкновений помогает системам понять, как могут развиваться эти взаимодействия. В приложениях, ориентированных на безопасность, такое предвидение помогает снизить риск, а в других условиях поддерживает такие задачи, как планирование маршрута, времени или согласованного движения.

Например, во многих новых автомобилях, оснащённых передовыми системами помощи водителю (ADAS), камеры и датчики контролируют дорогу впереди и оценивают, с какой скоростью автомобиль приближается к находящимся рядом объектам. Если система обнаруживает, что ситуация может стать опасной, она предупреждает водителя, а в некоторых случаях автоматическое торможение помогает уменьшить силу удара.

Четыре этапа прогнозирования столкновений#

Прогнозирование столкновений включает согласованный процесс, в котором разные компоненты искусственного интеллекта совместно обнаруживают объекты, отслеживают их движение и оценивают дальнейшее развитие событий. Обычно такие системы проходят через четыре связанных этапа: обнаружение объектов, отслеживание объектов, прогнозирование траекторий и, наконец, прогнозирование столкновений, причём каждый этап опирается на точность предыдущего.

Теперь подробнее рассмотрим работу каждого этапа.

Обзор обнаружения объектов#

Обнаружение объектов — это основная задача компьютерного зрения, в рамках которой модели искусственного интеллекта для зрения идентифицируют объекты и определяют их местоположение на изображении или видеокадре. Анализируя данные о пикселях, модель обнаружения объектов может выдавать три основных результата: ограничивающие рамки, классы объектов и оценки уверенности. Ограничивающие рамки показывают, где находится объект, классы объектов указывают, что это за объект, например автомобиль, пешеход или велосипедист, а оценки уверенности отражают степень уверенности модели в прогнозе.

Модели искусственного интеллекта для зрения, такие как YOLO11 и YOLO26, развивают эту основу и поддерживают несколько связанных задач, включая обнаружение объектов, отслеживание объектов и обнаружение ориентированных ограничивающих рамок (OBB). Обнаружение объектов сообщает системе прогнозирования, что находится в каждом кадре, отслеживание следит за объектами по мере их движения, а ориентированные ограничивающие рамки обеспечивают более точное представление формы объектов, расположенных под разными углами.

На этом этапе система прогнозирования столкновений сосредоточена исключительно на понимании того, что присутствует в визуальных данных. Она формирует базовый информационный слой, от которого зависят все последующие шаги, но пока не учитывает, как объекты будут двигаться или взаимодействовать.

Обзор отслеживания объектов#

После обнаружения объектов следующий шаг — отслеживать их между кадрами, чтобы система могла понять, как они движутся во времени. Если обнаружение выдаёт новые ограничивающие рамки в каждом кадре, отслеживание объектов обеспечивает непрерывность, связывая эти обнаружения во времени.

Алгоритмы отслеживания, поддерживаемые пакетом Ultralytics для Python, такие как ByteTrack или BoT-SORT, работают с моделями вроде YOLO11, используя данные обнаружения из каждого кадра для отслеживания движущихся объектов. Эти алгоритмы присваивают каждому объекту уникальный ID и используют его для сохранения идентичности объекта, даже если он быстро перемещается или частично скрывается. Так формируется плавная история отслеживания, отражающая движение объекта.

Рис. 2. Присвоение уникальных ID различным обнаруженным объектам с помощью YOLO (источник)

Кратко рассмотрим принцип работы этих двух методов отслеживания:

• ByteTrack: использует обнаружения с высокой и низкой уверенностью для сохранения стабильных ID объектов, а прогнозы движения от фильтра Калмана помогают трекеру оставаться устойчивым, когда объекты быстро перемещаются или их ненадолго трудно обнаружить.
• BoT-SORT: этот алгоритм расширяет SORT, объединяя прогнозы движения фильтра Калмана с признаками внешнего вида, благодаря чему трекер надёжнее отслеживает объекты в переполненных сценах или при частичном перекрытии.

Чтобы оценить эффективность этих методов отслеживания, исследователи проверяют их на общепринятых наборах данных и тестах для отслеживания множества объектов (MOT). Среди часто используемых метрик — точность отслеживания множества объектов (MOTA), отражающая общее качество отслеживания; F1-оценка идентификации (IDF1), измеряющая стабильность сохранения идентичности объектов; и точность отслеживания высокого порядка (HOTA), обеспечивающая сбалансированную оценку качества обнаружения и точности сопоставления.

Понимание прогнозирования траекторий#

После отслеживания объекта в нескольких кадрах следующий шаг — предсказать, куда он направится дальше. Это называется прогнозированием траектории. Если обнаружение находит объекты, а отслеживание фиксирует их движение, то прогнозирование заглядывает вперёд и оценивает их будущие положения.

Информацию об обнаружении и отслеживании, например ограничивающую рамку объекта, его положение в разных кадрах и присвоенный ID, можно использовать для расчёта таких характеристик движения, как скорость, направление и закономерности перемещения. Эти производные данные дают модели прогнозирования информацию, необходимую для оценки того, где объект, скорее всего, окажется в следующие несколько секунд.

Если данные отслеживания содержат пропуски или резкие скачки, методы интерполяции помогают восстановить более плавные и согласованные траектории. Это позволяет передавать модели прогнозирования качественные данные о движении, а не зашумлённые или неполные данные о положении.

Рис. 3. Визуализация прогнозирования траектории автомобиля. (источник)

Для построения таких прогнозов многие системы используют модели глубокого обучения, разработанные для понимания изменений движения объекта во времени. Анализируя последовательности предыдущих положений и производные из них характеристики движения, эти модели изучают типичные закономерности перемещения и используют полученные знания для прогнозирования будущих траекторий.

Ниже приведены некоторые распространённые подходы глубокого и машинного обучения к прогнозированию траекторий:

• Рекуррентные нейронные сети (RNN): RNN — это модели глубокого обучения, предназначенные для работы с последовательностями, например с серией видеокадров. Они могут хранить сведения о предыдущих положениях и использовать их, чтобы понять, как двигался объект. Это помогает системе распознавать простые закономерности движения: ускорение, замедление или движение по прямой.

• Сети с долгой краткосрочной памятью (LSTM): LSTM — это более продвинутый тип RNN, способный хранить информацию в течение более длительного времени. Благодаря этому они могут улавливать более сложные движения, например подготовку автомобиля к повороту или изменение направления пешеходом. Поскольку они отслеживают более длительные тенденции, в загруженных условиях их прогнозы часто оказываются надёжнее.

• Transformer: Transformer обрабатывают полные последовательности движения и используют механизм внимания, чтобы сосредоточиться на наиболее важных деталях этих последовательностей. Это делает их особенно эффективными в сценах, где взаимодействуют несколько объектов, например при слиянии автомобилей или пересечении потоков пешеходов.

Эти модели могут прогнозировать как краткосрочные, так и долгосрочные траектории. Краткосрочные прогнозы, обычно на период менее двух секунд, как правило, наиболее точны, тогда как прогнозы на более длительные интервалы, например от двух до шести секунд, дают больше времени для подготовки, но отличаются большей неопределённостью.

Объединяем всё вместе: алгоритмы обнаружения столкновений#

На финальном этапе — прогнозировании столкновений — система использует всё, чему научилась до этого: что представляет собой каждый объект (обнаружение), как он двигался (отслеживание) и куда, вероятно, направится дальше (прогнозирование). На этом шаге проверяется, могут ли какие-либо прогнозируемые траектории пересечься так, что это приведёт к столкновению.

Рис. 4. Как работает система прогнозирования столкновений (источник)

В автономных автомобилях система проверки столкновений сравнивает будущие траектории находящихся рядом объектов, таких как автомобили, пешеходы и велосипедисты. Если два прогнозируемых пути пересекаются или опасно сближаются, система помечает ситуацию как потенциальное столкновение транспортных средств. Чтобы понять срочность риска столкновения, система также рассчитывает значение времени до столкновения.

Время до столкновения (TTC) — ключевой показатель в быстро меняющихся условиях. Он оценивает, сколько времени останется до столкновения двух объектов, если они продолжат двигаться с текущими скоростями и в текущих направлениях. Когда TTC опускается ниже определённого порога, система может отреагировать предупреждением, включением тормозов или корректировкой запланированного пути.

Практическое применение прогнозирования столкновений#

Прогнозирование столкновений становится критически важным во многих отраслях, включая управление дорожным движением, инфраструктуру умных городов, промышленную автоматизацию и мобильную робототехнику. По мере развития передовых моделей компьютерного зрения и прогнозирования такие системы всё лучше предугадывают движение.

Теперь, когда мы лучше понимаем принцип работы прогнозирования столкновений и прогнозирования траекторий, рассмотрим несколько интересных научных исследований, демонстрирующих применение этих методов в различных реальных условиях.

Прогнозирование столкновений для экстренных автономных автомобилей на базе YOLO#

Навигация в переполненных и непредсказуемых условиях — одна из самых сложных задач для автономных систем, особенно когда пешеходы движутся по неочевидным траекториям. Экстренные автомобили сталкиваются с этой проблемой ещё чаще: им нужно быстро двигаться на высокой скорости через плотные общественные пространства, не полагаясь на организованные дороги, дорожную разметку или предсказуемое поведение пешеходов.

В таких сценариях понимание того, где находятся люди и как они могут двигаться в следующие несколько секунд, становится необходимым для предотвращения аварий. Например, в недавнем исследовании эту задачу изучали, создав полноценный конвейер прогнозирования столкновений для экстренного автономного автомобиля (EAV), работающего в условиях большого скопления пешеходов.

Как работает конвейер прогнозирования столкновений на базе YOLO#

Кратко рассмотрим принцип работы этой методологии:

• Обнаружение пешеходов с помощью YOLO: детектор на базе YOLO обнаруживает пешеходов в каждом кадре камеры и выдаёт ограничивающую рамку для каждого видимого человека.
• Отслеживание движения с помощью ByteTrack: алгоритм ByteTrack связывает эти обнаружения между кадрами, присваивает каждому пешеходу постоянный ID и формирует историю движения, показывающую, как он перемещается во времени.
• Оценка положения в реальном мире: обратное перспективное преобразование (IPM) переводит двумерные координаты пикселей в приблизительные положения на плоскости земли, помогая системе понять, где находятся пешеходы в реальном пространстве относительно автомобиля.
• Построение вида сверху с помощью cGAN: условная GAN, то есть модель искусственного интеллекта, преобразующая один формат изображения в другой, создаёт представление сцены с высоты птичьего полёта. Такая схема сверху упрощает интерпретацию положений пешеходов и окружающей обстановки.
• Прогнозирование траекторий с помощью модели LSTM: используя предыдущие положения и закономерности движения каждого пешехода, модель LSTM прогнозирует, куда он, вероятно, направится в следующие несколько секунд.
• Эффективное обнаружение столкновений с помощью конусов столкновения: прогнозируемые траектории сравниваются методом конусов столкновения, который определяет, пересекутся ли траектории автомобиля и какого-либо пешехода.
• Предотвращение столкновений с помощью сигналов: если система прогнозирует столкновение, она активирует звуковой сигнал (например, клаксон или звонок) в оптимальный момент. Время выбирается так, чтобы повлиять на поведение пешехода и дать ему возможность ускориться или замедлиться и добраться до безопасного места.

Обеспечение безопасности пешеходов в городах с помощью периферийного зрения и YOLO#

Аналогичный подход к предотвращению столкновений рассматривает не только автомобили, но и саму инфраструктуру. Вместо датчиков внутри автомобиля этот метод использует умные камеры, установленные на пешеходных переходах и перекрёстках, чтобы отслеживать движение пешеходов и автомобилей в реальном времени. Такие места часто непредсказуемы: люди могут внезапно выйти на дорогу, велосипедисты — лавировать в потоке, а водители — не всегда снижать скорость, поэтому крайне важно заранее обнаруживать риски.

Интересное исследование изучало эту идею с помощью системы под названием NAVIBox — устройства с периферийным зрением, предназначенного для прогнозирования рисков между автомобилями и пешеходами непосредственно на перекрёстке. Система использует модель Ultralytics YOLOv8 для обнаружения пешеходов и автомобилей, а также лёгкий трекер Centroid для их отслеживания между кадрами. Это создаёт короткие и надёжные истории движения, которые затем уточняются с помощью перспективного преобразования, переводящего наклонный вид с камеры видеонаблюдения в более понятное представление дороги с высоты птичьего полёта.

На основе уточнённых траекторий NAVIBox может оценивать, как участники дорожного движения, вероятно, будут перемещаться в следующие несколько секунд, и проверять, могут ли их пути пересечься (это также называют проверкой пересечения). Когда система обнаруживает опасное взаимодействие, она немедленно отправляет предупреждения через дисплеи для водителей и динамики для пешеходов — без удалённого сервера или сетевого подключения. Испытания в реальных городских условиях показали, что NAVIBox работает достаточно быстро для полноценной реакции в реальном времени и точно выявляет потенциальные сценарии столкновений, что делает его практичным инструментом безопасности на загруженных городских перекрёстках.

Рис. 5. Прогнозирование риска столкновения между автомобилями и пешеходами. (источник)

Преимущества и недостатки обнаружения и прогнозирования столкновений#

Вот некоторые преимущества использования систем прогнозирования столкновений на базе искусственного интеллекта:

• Повышение ситуационной осведомлённости: системы искусственного интеллекта непрерывно моделируют движение объектов в окружающей среде, обеспечивая более полное понимание потоков больших скоплений людей, поведения транспорта или траекторий движения машин.

• Аналитика для долгосрочного планирования на основе данных: регистрируя обнаружения, опасные сближения и закономерности движения, системы искусственного интеллекта предоставляют аналитику, которую городские планировщики, команды по безопасности и операторы автопарков могут использовать для перепроектирования перекрёстков, улучшения дорожных знаков или корректировки рабочих процедур.

• Экономичное предотвращение рисков: обнаруживая риски до их обострения, такие системы помогают избежать дорогостоящих аварий, страховых выплат или ремонта оборудования.

Несмотря на преимущества, системы предотвращения столкновений также сталкиваются с определёнными ограничениями. Вот несколько проблем, которые следует учитывать:

• Ограничения размещения датчиков и камер: неправильно расположенные или наклонённые камеры могут искажать размер или расстояние до объекта, снижая надёжность оценки глубины и прогнозирования траектории.
• Перекрытие: объекты могут частично или полностью скрываться за другими объектами. Это усложняет отслеживание, поскольку модель теряет визуальную непрерывность.
• Условия окружающей среды: слабое освещение, яркий солнечный свет, дождь, туман или низкое качество камеры могут ухудшить способность модели чётко видеть сцену и повлиять на точность.

Основные выводы#

Прогнозирование столкновений объединяет две мощные возможности: компьютерное зрение, позволяющее системам понимать, что происходит в окружающей среде прямо сейчас, и прогнозирование траекторий, помогающее предугадывать дальнейшее развитие событий.

Объединяя эти возможности, машины могут обнаруживать движущиеся объекты в реальном времени и прогнозировать, как эти объекты могут взаимодействовать в ближайшие секунды. По мере развития методов компьютерного зрения и прогнозирования прогнозирование столкновений, вероятно, станет ключевым инструментом создания более безопасных, надёжных и масштабируемых автономных систем.

Посети наше сообщество и репозиторий на GitHub, чтобы узнать больше об ИИ. Изучи такие направления, как ИИ в здравоохранении и компьютерное зрение в производстве, на наших страницах решений. Ознакомься с вариантами лицензирования и начни создавать уже сегодня!