Улучшение прогнозирования столкновений с помощью моделей Ultralytics YOLO

Даже если ты осторожен на дороге, аварии все равно случаются. Машина меняет полосу, пешеход переходит дорогу в неположенном месте или велосипедист ускоряется без предупреждения. Такие повседневные моменты — это ситуации, когда системы прогнозирования столкновений могут действительно помочь и обеспечить безопасность для всех.

Ранее мы рассматривали прогнозирование траектории мяча и видели, как предсказание пути быстро движущегося объекта помогает спортивной аналитике понимать движение и предугадывать следующие действия. Прогнозирование столкновений работает по схожему принципу.

Эти системы прогнозирования по сути заглядывают в будущее. Наблюдая за движением транспортных средств и пешеходов, они могут своевременно выявлять риски и корректировать путь или поведение (что также называют планированием движения или планированием пути) до того, как ситуация примет опасный оборот.

Ключевыми технологиями компьютерных наук, лежащими в основе систем прогнозирования столкновений, являются искусственный интеллект и его подобласти, такие как компьютерное зрение и методы прогнозирования, помогающие предсказать направление движения объектов. Например, модели компьютерного зрения, такие как Ultralytics YOLO11 и готовящаяся к выпуску Ultralytics YOLO26, могут использоваться для обнаружения и отслеживания объектов, таких как автомобили и пешеходы, в режиме реального времени, а модели прогнозирования используют эти данные для оценки их будущих перемещений.

Рис. 1. Пример использования YOLO11 для обнаружения объектов на дороге (Источник).

Результатом является система ИИ, которая понимает происходящее вокруг и помогает принимать более разумные решения в динамичных средах. В этой статье мы разберем, как работает прогнозирование столкновений, какие методы лежат в его основе, а также какую роль в этом процессе играют компьютерное зрение и модели Ultralytics YOLO. Давай приступим!

Link to this sectionЧто такое прогнозирование столкновений?#

Прогнозирование столкновений — это способность системы ИИ понимать, как движутся объекты, и предвидеть, когда они могут опасно сблизиться или столкнуться. Различные системы могут использовать эту информацию по-разному, включая поддержку функций безопасности, оптимизацию движения или координацию действий в общих пространствах.

Везде, где объекты перемещаются по общему пространству — будь то автомобили на шоссе, вилочные погрузчики в проходах склада или пешеходы, переходящие улицу, — прогнозирование столкновений помогает системам понять, как могут развиваться эти взаимодействия. В приложениях, ориентированных на безопасность, это предвидение используется для снижения риска, в то время как в других сферах оно может поддерживать такие задачи, как планирование маршрута, расчет времени или координация движений.

Например, во многих новых автомобилях, оснащенных усовершенствованными системами помощи водителю (ADAS), камеры и датчики следят за дорогой и оценивают скорость приближения автомобиля к близлежащим объектам. Если система обнаруживает, что ситуация становится небезопасной, она предупреждает водителя, а в некоторых случаях автоматическое торможение может помочь уменьшить последствия удара.

Link to this sectionИзучаем четыре этапа прогнозирования столкновений#

Прогнозирование столкновений включает в себя скоординированный процесс, в котором различные компоненты ИИ работают вместе для идентификации объектов, отслеживания их движения и оценки того, что может произойти дальше. Эти системы обычно работают через четыре связанных этапа: обнаружение объектов, отслеживание объектов, прогнозирование траектории и, наконец, прогнозирование столкновений, где каждый этап опирается на точность предыдущего.

Давай подробнее рассмотрим, как работает каждый этап.

Link to this sectionВзгляд на обнаружение объектов#

Обнаружение объектов — это базовая задача компьютерного зрения, в которой модели ИИ распознают и определяют местоположение объектов на изображении или кадре видео. Анализируя данные пикселей, модель обнаружения объектов выдает три основных результата: ограничивающие рамки (bounding boxes), классы объектов и оценки уверенности. Ограничивающие рамки показывают, где находится объект, классы указывают на то, что это (например, автомобиль, пешеход или велосипедист), а оценки уверенности отражают, насколько модель уверена в своем предсказании.

Модели компьютерного зрения, такие как YOLO11 и YOLO26, опираются на этот фундамент и поддерживают несколько связанных задач, включая обнаружение объектов, их отслеживание и обнаружение с помощью ориентированных ограничивающих рамок (OBB). Обнаружение объектов сообщает системе, что находится в каждом кадре, отслеживание сопровождает эти объекты по мере их перемещения, а ориентированные ограничивающие рамки обеспечивают более точные контуры для объектов, расположенных под разными углами.

На данном этапе система прогнозирования столкновений сфокусирована исключительно на понимании того, что присутствует в визуальных данных. Это формирует базовый уровень информации, от которого зависят все последующие шаги, но здесь еще не учитывается, как объекты будут двигаться или взаимодействовать.

Link to this sectionОбзор отслеживания объектов#

Как только объекты обнаружены, следующим шагом является их отслеживание между кадрами, чтобы система могла понять, как они перемещаются во времени. В то время как обнаружение предоставляет новые ограничивающие рамки для каждого кадра, отслеживание объектов добавляет непрерывность, связывая эти обнаружения во времени.

Алгоритмы отслеживания, поддерживаемые пакетом Ultralytics Python, такими как ByteTrack или BoT-SORT, работают с моделями типа YOLO11, используя данные обнаружения из каждого кадра для сопровождения объектов. Эти алгоритмы присваивают уникальный ID каждому объекту и используют его для сохранения идентичности, даже когда объект движется быстро или частично скрыт. Это создает плавную историю отслеживания, фиксирующую характер движения объекта.

Рис. 2. Назначение уникальных ID для различных обнаруженных объектов с помощью YOLO (Источник)

Вот краткий обзор того, как работают эти два метода отслеживания:

• ByteTrack: Использует как обнаружения с высокой, так и с низкой степенью уверенности для поддержания постоянных ID объектов, а прогнозы движения из фильтра Калмана помогают трекеру оставаться стабильным, когда объекты движутся быстро или их трудно обнаружить в течение короткого времени.
• BoT-SORT: Этот алгоритм расширяет SORT, объединяя прогнозы движения фильтра Калмана с визуальными признаками, что позволяет трекеру более надежно сопровождать объекты в людных сценах или при частичном перекрытии.

Чтобы измерить эффективность этих методов отслеживания, исследователи оценивают их на стандартных наборах данных и бенчмарках для многоцелевого отслеживания (MOT). Также широко используются метрики: точность многоцелевого отслеживания (MOTA), которая отражает общее качество трекинга; идентификационный F1-балл (IDF1), измеряющий постоянство идентификации объектов; и точность отслеживания высшего порядка (HOTA), которая предлагает сбалансированный взгляд как на качество обнаружения, так и на точность ассоциации.

Link to this sectionПонимание прогнозирования траектории#

После отслеживания объекта по нескольким кадрам следующим шагом является прогноз того, куда он направится дальше. Это называется прогнозированием траектории. Пока обнаружение находит объекты, а отслеживание фиксирует их перемещение, прогнозирование заглядывает вперед и оценивает их будущие позиции.

Информация от обнаружения и отслеживания, такая как ограничивающая рамка объекта, положение между кадрами и присвоенный ID, может быть использована для расчета характеристик движения: скорости, направления и паттернов перемещения. Эти производные данные дают модели прогнозирования информацию, необходимую для оценки того, где объект, скорее всего, окажется в ближайшие несколько секунд.

В случаях, когда данные отслеживания содержат пропуски или резкие скачки, методы интерполяции помогают восстановить более плавные и последовательные траектории. Это гарантирует, что модель прогнозирования получит качественные входные данные о движении вместо зашумленных или неполных данных о положении.

Рис. 3. Визуализация прогнозирования траектории автомобиля. (Источник)

Для выполнения этих прогнозов многие системы полагаются на модели глубокого обучения, предназначенные для понимания того, как меняется движение объекта с течением времени. Анализируя последовательности прошлых позиций и производные от них признаки движения, эти модели изучают общие паттерны перемещения и используют эти знания для прогнозирования будущих путей.

Вот некоторые часто используемые подходы глубокого и машинного обучения для прогнозирования траектории:

• Рекуррентные нейронные сети (RNN): RNN — это модели глубокого обучения, предназначенные для работы с последовательностями, например, с рядом видеокадров. Они могут сохранять память о прошлых позициях и использовать эту информацию для понимания того, как перемещался объект. Это помогает системе распознавать простые паттерны движения, такие как ускорение, замедление или движение по прямой линии.

• Сети долгой краткосрочной памяти (LSTM): LSTM — это более продвинутый тип RNN, способный запоминать информацию на более длительные периоды. Это позволяет им улавливать более сложные движения, например, подготовку автомобиля к повороту или изменение направления движения пешеходом. Поскольку они могут отслеживать долгосрочные тренды, они часто дают более надежные прогнозы в оживленных условиях.

• Трансформеры: Трансформеры обрабатывают полные последовательности движения и используют внимание (attention), чтобы сфокусироваться на наиболее важных деталях этих последовательностей. Это делает их особенно эффективными в сценах, где взаимодействуют несколько объектов, например, автомобили, сливающиеся в потоке, или пешеходы, переходящие дорогу.

Эти модели могут предсказывать как краткосрочные, так и долгосрочные пути. Краткосрочные прогнозы (обычно до двух секунд) как правило наиболее точны, в то время как прогнозы на более длинные окна (от двух до шести секунд) обеспечивают большее предвидение, но сопровождаются большей неопределенностью.

Link to this sectionПодводим итоги: Алгоритмы обнаружения столкновений#

На финальном этапе, прогнозировании столкновений, система использует всё, что узнала ранее: что представляет собой каждый объект (обнаружение), как он двигался (отслеживание) и где он, вероятно, окажется (прогнозирование). Этот этап проверяет, могут ли какие-либо из прогнозируемых путей пересечься таким образом, что это приведет к столкновению.

Рис. 4. Как работает система прогнозирования столкновений (Источник)

В случае автономных транспортных средств система проверки столкновений сравнивает будущие траектории близлежащих объектов, таких как автомобили, пешеходы и велосипедисты. Если два прогнозируемых пути перекрываются или опасно сближаются, она отмечает ситуацию как потенциальное столкновение транспортных средств. Чтобы понять, насколько срочным может быть риск столкновения, система также вычисляет значение, известное как время до столкновения (TTC).

Время до столкновения (TTC) — это ключевой показатель в быстро меняющихся средах. Он оценивает, сколько времени осталось до момента, когда два объекта столкнутся, если продолжат двигаться с текущими скоростями и направлениями. Когда TTC опускается ниже определенного порога, система может отреагировать, выдав предупреждения, применив торможение или скорректировав запланированный путь.

Link to this sectionПрактическое применение прогнозирования столкновений#

Прогнозирование столкновений становится критически важным во многих отраслях, включая управление движением, инфраструктуру «умного города», промышленную автоматизацию и мобильную робототехнику. По мере того как современные модели компьютерного зрения и прогнозирования продолжают развиваться, эти системы становятся все более способными к предвидению движения.

Теперь, когда у нас есть лучшее понимание того, как работают прогнозирование столкновений и траектории, давай взглянем на некоторые интересные исследования, демонстрирующие, как эти методы могут применяться в различных реальных условиях.

Link to this sectionПрогнозирование столкновений на базе YOLO для автономных машин экстренных служб#

Навигация в людных, непредсказуемых условиях — одна из самых сложных задач для автономных систем, особенно когда пешеходы двигаются способами, которые не поддаются четким закономерностям. Машины экстренных служб сталкиваются с этой проблемой еще чаще, так как им нужно быстро перемещаться на высокой скорости через плотные общественные пространства, не полагаясь на структурированные дороги, разметку полос или предсказуемое поведение пешеходов.

В таких сценариях понимание того, где находятся люди и как они могут двигаться в ближайшие секунды, становится необходимым для предотвращения несчастных случаев. Например, недавнее исследование изучило эту задачу путем создания полноценного конвейера прогнозирования столкновений для автономного автомобиля экстренной службы (EAV), работающего в местах скопления пешеходов.

Link to this sectionКак работает конвейер прогнозирования столкновений на базе YOLO#

Вот краткий обзор того, как работает эта методология:

• Обнаружение пешеходов с помощью YOLO: Детектор на основе YOLO идентифицирует пешеходов в каждом кадре камеры и выводит ограничивающие рамки для каждого видимого человека.
• Отслеживание движения с помощью ByteTrack: Алгоритм ByteTrack связывает эти обнаружения между кадрами, давая каждому пешеходу постоянный ID и создавая историю движения, которая показывает, как они перемещаются во времени.
• Оценка положения в реальном мире: Обратное перспективное отображение (IPM) преобразует 2D-координаты пикселей в примерные положения на наземной плоскости, помогая системе понять, где находятся пешеходы в реальном пространстве относительно автомобиля.
• Генерация вида сверху с использованием cGAN: Условная GAN, модель ИИ, которая переводит один формат изображения в другой, создает представление сцены с высоты птичьего полета. Такая компоновка сверху облегчает интерпретацию положений пешеходов и их окружения.
• Прогноз траектории с помощью модели LSTM: Используя прошлые позиции и паттерны движения каждого пешехода, модель LSTM предсказывает, куда они, скорее всего, направятся в ближайшие несколько секунд.
• Эффективное обнаружение столкновений с использованием конусов столкновений: Прогнозируемые траектории сравниваются с использованием метода конусов столкновений, который определяет, пересекаются ли пути автомобиля и пешеходов.
• Предотвращение столкновений через сигналы: Если система прогнозирует столкновение, она активирует звуковой сигнал (например, гудок или звонок) в оптимальный момент. Время выбирается так, чтобы повлиять на поведение пешехода и дать ему шанс ускориться или замедлиться, чтобы оказаться в безопасности.

Link to this sectionОбеспечение безопасности пешеходов в городах с помощью периферийного зрения и YOLO#

Аналогично, другой подход к предотвращению столкновений выходит за рамки транспортных средств и фокусируется на самой инфраструктуре. Вместо того чтобы полагаться на датчики внутри автомобиля, этот метод использует умные камеры, установленные на переходах и перекрестках, для мониторинга движения пешеходов и автомобилей в режиме реального времени. Эти локации часто непредсказуемы: люди могут внезапно выйти на дорогу, велосипедисты могут маневрировать в потоке, а водители не всегда притормаживают, поэтому раннее обнаружение рисков критически важно.

Интересное исследование изучило эту идею через систему под названием NAVIBox — устройство периферийного зрения (edge-vision), предназначенное для прогнозирования рисков взаимодействия автомобиля и пешехода непосредственно на перекрестке. Система использует модель Ultralytics YOLOv8 для обнаружения пешеходов и транспортных средств, а также облегченный центроидный трекер для их сопровождения между кадрами. Это создает короткие, надежные истории движения, которые затем уточняются с помощью перспективного преобразования, переводящего угловой обзор CCTV в более четкую схему дороги с высоты птичьего полета.

Имея эти уточненные траектории, NAVIBox может оценить, как участники дорожного движения, вероятно, будут двигаться в ближайшие секунды, и проверить, могут ли их пути пересечься (также называемое тестом пересечения). Когда система обнаруживает рискованное взаимодействие, она немедленно отправляет предупреждения через дисплеи для водителей и динамики для пешеходов — без использования удаленного сервера или сетевого соединения. Тестирование в реальных городских условиях показало, что NAVIBox работает достаточно быстро для ответа в истинном режиме реального времени и может точно идентифицировать потенциальные сценарии столкновений, что делает его практичным инструментом безопасности для оживленных городских перекрестков.

Рис. 5. Прогнозирование риска столкновения между автомобилями и пешеходами. (Источник)

Link to this sectionПлюсы и минусы обнаружения и прогнозирования столкновений#

Вот некоторые преимущества использования систем прогнозирования столкновений на базе ИИ:

• Улучшает ситуационную осведомленность: Системы ИИ непрерывно картируют, как объекты перемещаются в среде, обеспечивая более глубокое понимание крупномасштабных потоков толпы, поведения трафика или путей движения машин.

• Данные для долгосрочного планирования: Логируя обнаружения, опасные ситуации и паттерны перемещения, системы ИИ предоставляют аналитику, которую городские планировщики, команды безопасности и операторы автопарков могут использовать для перепроектирования перекрестков, улучшения разметки или уточнения операционных политик.

• Экономически эффективная профилактика рисков: Обнаруживая риски до того, как они обострятся, эти системы позволяют избежать дорогостоящих аварий, страховых выплат или ремонтов оборудования.

Несмотря на преимущества, системы предотвращения столкновений также сталкиваются с определенными ограничениями. Вот несколько проблем, которые стоит учитывать:

• Ограничения размещения датчиков и камер: Неправильно расположенные или установленные под неудобным углом камеры могут искажать размер объектов или расстояние до них, делая оценку глубины и прогнозирование траектории менее надежными.
• Перекрытие (окклюзия): Объекты могут быть частично или полностью скрыты другими. Это затрудняет отслеживание объектов, так как модель теряет визуальную непрерывность.
• Условия окружающей среды: Низкое освещение, яркое солнце, дождь, туман или плохое качество камеры могут снизить способность модели четко видеть сцену, влияя на точность.

Link to this sectionОсновные выводы#

Прогнозирование столкновений объединяет две мощные возможности: компьютерное зрение, которое позволяет системам понимать, что происходит в окружающей среде прямо сейчас, и прогнозирование траектории, которое помогает им предугадывать, что, скорее всего, произойдет дальше.

Объединив эти сильные стороны, машины могут обнаруживать движущиеся объекты в реальном времени и предсказывать, как эти объекты могут взаимодействовать в ближайшие секунды. По мере дальнейшего развития методов компьютерного зрения и прогнозирования, прогнозирование столкновений, вероятно, станет ключевым элементом для создания более безопасных, надежных и масштабируемых автономных систем.

Загляни в наше сообщество и GitHub-репозиторий, чтобы узнать больше об ИИ. Изучи приложения, такие как ИИ в здравоохранении и компьютерное зрение в производстве, на страницах наших решений. Узнай о наших вариантах лицензирования и начни создавать уже сегодня!