Повышение точности прогнозирования столкновений с помощью моделей Ultralytics YOLO

Даже если внимательно вести машину, аварии всё равно могут произойти. Автомобиль меняет полосу, пешеход переходит дорогу в неположенном месте или велосипедист неожиданно ускоряется. В таких повседневных ситуациях системы прогнозирования столкновений могут существенно помочь и повысить безопасность всех участников движения.

Ранее мы рассмотрели прогнозирование траектории мяча и увидели, как прогнозирование пути быстро движущегося мяча помогает спортивной аналитике понимать движение и предугадывать дальнейшие события. Прогнозирование столкновений работает похожим образом.

По сути, эти системы прогнозирования заглядывают в будущее. Наблюдая за движением автомобилей и пешеходов, они заранее выявляют риски и корректируют траекторию или поведение (этот процесс называется планированием движения или траектории), пока ситуация не стала опасной.

В основе систем прогнозирования столкновений лежат ключевые технологии информатики: искусственный интеллект и его подразделы, например компьютерное зрение, а также методы прогнозирования движения объектов. Например, модели компьютерного зрения, такие как Ultralytics YOLO11 и Ultralytics YOLO26 (на момент написания статьи ожидавшаяся к выпуску и уже выпущенная), можно использовать для обнаружения и отслеживания автомобилей, пешеходов и других объектов в реальном времени. Модели прогнозирования используют полученные данные, чтобы оценить их дальнейшее движение.

Рис. 1. Пример использования YOLO11 для обнаружения объектов на дороге (Источник).

В результате получается система ИИ, которая понимает, что происходит вокруг, и помогает принимать более взвешенные решения в динамичной среде. В этой статье мы рассмотрим, как работает прогнозирование столкновений, какие методы лежат в его основе и какую роль в этом процессе могут играть компьютерное зрение и модели Ultralytics YOLO. Начнём!

Что такое прогнозирование столкновений?#

Прогнозирование столкновений — это способность системы ИИ понимать, как движутся объекты, и предугадывать, когда они могут оказаться очень близко друг к другу или соприкоснуться. Разные системы могут использовать эту информацию по-разному, например для поддержки функций безопасности, оптимизации движения или координации действий в общих пространствах.

Когда объекты перемещаются в общем пространстве — будь то автомобили на шоссе, погрузчики в проходе склада или пешеходы, переходящие улицу, — прогнозирование столкновений помогает системам понять, как может развиваться взаимодействие между ними. В приложениях, ориентированных на безопасность, это позволяет снизить риски, а в других случаях помогает решать такие задачи, как планирование маршрута, выбор времени или координация движения.

Например, во многих новых автомобилях с усовершенствованными системами помощи водителю (ADAS) камеры и датчики следят за дорогой впереди и оценивают, насколько быстро автомобиль приближается к находящимся поблизости объектам. Если система обнаруживает потенциально опасную ситуацию, она предупреждает водителя, а в некоторых случаях автоматическое торможение помогает снизить силу удара.

Четыре этапа прогнозирования столкновений#

Прогнозирование столкновений — это скоординированный процесс, в котором разные компоненты ИИ совместно обнаруживают объекты, отслеживают их движение и оценивают дальнейшее развитие событий. Обычно такие системы проходят четыре связанных этапа: обнаружение объектов, отслеживание объектов, прогнозирование траектории и, наконец, прогнозирование столкновения. Каждый этап опирается на точность предыдущего.

Теперь подробнее рассмотрим, как работает каждый этап.

Обзор обнаружения объектов#

Обнаружение объектов — это ключевая задача компьютерного зрения, в которой модели ИИ обнаруживают объекты и определяют их местоположение на изображении или в видеокадре. Анализируя пиксели, модель обнаружения объектов может формировать три основных результата: ограничивающие рамки, классы объектов и оценки уверенности. Ограничивающие рамки показывают местоположение объекта, классы указывают, что это за объект — например, автомобиль, пешеход или велосипедист, — а оценки уверенности отражают степень уверенности модели в прогнозе.

Модели ИИ для компьютерного зрения, такие как YOLO11 и YOLO26, развивают эту базовую технологию и поддерживают несколько связанных задач, включая обнаружение объектов, отслеживание объектов и обнаружение ориентированных ограничивающих рамок (OBB). Обнаружение объектов определяет, что находится в каждом кадре, отслеживание следит за перемещением этих объектов, а ориентированные ограничивающие рамки точнее описывают форму объектов, снятых под разными углами.

На этом этапе система прогнозирования столкновений сосредоточена исключительно на понимании того, что присутствует в визуальных данных. Этот этап формирует базовый слой информации, от которого зависят все последующие шаги, но пока не учитывает, как объекты будут двигаться или взаимодействовать.

Обзор отслеживания объектов#

После обнаружения объектов следующий шаг — отслеживать их в разных кадрах, чтобы система могла понять, как они движутся во времени. Обнаружение формирует новые ограничивающие рамки в каждом кадре, а отслеживание объектов связывает обнаружения во времени и обеспечивает непрерывность.

Алгоритмы отслеживания, поддерживаемые пакетом Ultralytics для Python, например ByteTrack или BoT-SORT, работают с моделями вроде YOLO11: они используют данные обнаружения каждого кадра, чтобы отслеживать перемещение объектов. Алгоритмы присваивают каждому объекту уникальный идентификатор и используют его, чтобы сохранять идентичность объекта, даже если он движется быстро или частично скрывается. Так формируется непрерывная история перемещений объекта.

Рис. 2. Пример присвоения уникальных ID разным обнаруженным объектам с помощью YOLO (Источник)

Кратко рассмотрим, как работают эти два метода отслеживания:

• ByteTrack: использует обнаружения с высокой и низкой уверенностью, чтобы сохранять постоянные ID объектов. Прогнозирование движения с помощью фильтра Калмана помогает трекеру сохранять стабильность, когда объекты быстро перемещаются или их ненадолго трудно обнаружить.
• BoT-SORT: этот алгоритм расширяет SORT, объединяя прогнозирование движения с помощью фильтра Калмана и признаки внешнего вида. Благодаря этому трекер надёжнее отслеживает объекты в многолюдных сценах и при частичном перекрытии.

Чтобы оценить эффективность методов отслеживания, исследователи проверяют их на известных наборах данных и тестах для отслеживания нескольких объектов (MOT). Среди распространённых метрик — точность отслеживания нескольких объектов (MOTA), отражающая общее качество отслеживания; показатель F1 идентификации (IDF1), измеряющий стабильность сохранения идентификаторов объектов; и обобщённая точность отслеживания (HOTA), которая сбалансированно оценивает качество обнаружения и точность сопоставления объектов.

Что такое прогнозирование траектории#

После отслеживания объекта в нескольких кадрах следующий шаг — предсказать, куда он направится. Это называется прогнозированием траектории. Обнаружение находит объекты, отслеживание следит за их движением, а прогнозирование оценивает их будущее положение.

Информацию об обнаружении и отслеживании, например ограничивающую рамку объекта, его положение в разных кадрах и присвоенный идентификатор, можно использовать для расчёта характеристик движения, таких как скорость, направление и траектория перемещения. Эти производные данные обеспечивают модель прогнозирования информацией, необходимой для оценки вероятного местоположения объекта через несколько секунд.

Если в данных отслеживания есть пропуски или резкие скачки, методы интерполяции помогают восстановить более плавные и последовательные траектории. Благодаря этому модель прогнозирования получает качественные данные о движении, а не зашумлённую или неполную информацию о положении объекта.

Рис. 3. Визуализация прогноза траектории автомобиля. (Источник)

Для таких прогнозов многие системы используют модели глубокого обучения, специально разработанные для анализа изменений движения объекта во времени. Анализируя последовательности прежних положений и рассчитанные на их основе характеристики движения, эти модели учатся распознавать распространённые закономерности перемещения и использовать эти знания для прогнозирования будущей траектории.

Вот несколько распространённых методов глубокого и машинного обучения для прогнозирования траектории:

• Рекуррентные нейронные сети (RNNs): RNNs — это модели глубокого обучения, предназначенные для работы с последовательностями, например сериями видеокадров. Они могут запоминать предыдущие положения объекта и использовать эту информацию, чтобы понять, как он двигался. Благодаря этому система распознаёт простые закономерности движения, например ускорение, замедление или движение по прямой.
• Сети с долговременной краткосрочной памятью (LSTMs): LSTMs — более продвинутый тип RNN, способный запоминать информацию в течение длительного времени. Это позволяет им распознавать более сложные движения, например подготовку автомобиля к повороту или смену направления пешеходом. Благодаря способности отслеживать долгосрочные тенденции такие сети часто дают более надёжные прогнозы в оживлённых условиях.
• Трансформеры: Transformer обрабатывают целые последовательности движений и используют механизм внимания, чтобы сосредоточиться на наиболее важных деталях. Благодаря этому они особенно эффективны в сценах, где взаимодействуют несколько объектов, например при перестроении автомобилей или переходе дороги пешеходами.

Эти модели могут прогнозировать траектории как на короткий, так и на длительный срок. Краткосрочные прогнозы, обычно охватывающие менее двух секунд, как правило, точнее всего. Прогнозы на более длительный период, например от двух до шести секунд, дают больше времени на реакцию, но сопровождаются большей неопределённостью.

Объединим всё вместе: алгоритмы прогнозирования столкновений#

На заключительном этапе — прогнозировании столкновений — система использует всё, что ей удалось узнать: что представляет собой каждый объект (обнаружение), как он двигался (отслеживание) и куда он, вероятно, направится (прогнозирование). На этом этапе система проверяет, могут ли прогнозируемые траектории пересечься и привести к столкновению.

Рис. 4. Принцип работы системы прогнозирования столкновений (Источник)

В автономных транспортных средствах система проверки риска столкновения сравнивает будущие траектории ближайших объектов, например автомобилей, пешеходов и велосипедистов. Если прогнозируемые траектории пересекаются или проходят опасно близко друг к другу, система отмечает ситуацию как потенциальное столкновение транспортных средств. Чтобы оценить срочность риска столкновения, система также вычисляет показатель, называемый временем до столкновения.

Время до столкновения (TTC) — важный показатель для динамичных сред. Он оценивает, сколько времени осталось до столкновения двух объектов, если они продолжат двигаться с текущими скоростями и в текущих направлениях. Когда TTC опускается ниже заданного порога, система может отреагировать: выдать предупреждение, затормозить или скорректировать запланированную траекторию.

Применение прогнозирования столкновений в реальном мире#

Прогнозирование столкновений становится важным для многих отраслей, в том числе для управления дорожным движением, инфраструктуры умных городов, промышленной автоматизации и мобильной робототехники. По мере развития передовых моделей компьютерного зрения и прогнозирования такие системы всё лучше предугадывают движение.

Теперь, когда мы лучше понимаем, как работают прогнозирование столкновений и прогнозирование траекторий, рассмотрим несколько интересных исследований, которые показывают, как эти методы можно применять в различных реальных условиях.

Прогнозирование столкновений с помощью YOLO для автономных аварийных транспортных средств#

Передвижение в переполненной и непредсказуемой среде — одна из самых сложных задач для автономных систем, особенно когда пешеходы движутся без чётких закономерностей. С этой проблемой машины экстренных служб сталкиваются ещё чаще: им нужно быстро проезжать через оживлённые общественные пространства, где нет упорядоченной дорожной сети, разметки полос или предсказуемого поведения пешеходов.

В таких ситуациях для предотвращения аварий крайне важно понимать, где находятся люди и как они могут переместиться в ближайшие несколько секунд. Например, в недавнем исследовании эту задачу изучили, создав полноценный конвейер прогнозирования столкновений для автономного аварийного транспортного средства (EAV), работающего в местах с большим количеством пешеходов.

Как работает конвейер прогнозирования столкновений на базе YOLO#

Кратко рассмотрим принцип работы этой методики:

• Обнаружение пешеходов с помощью YOLO: Детектор на базе YOLO обнаруживает пешеходов в каждом кадре камеры и формирует ограничивающие рамки для каждого видимого человека.
• Отслеживание движения с помощью ByteTrack: Алгоритм ByteTrack связывает обнаружения между кадрами, присваивает каждому пешеходу постоянный ID и формирует историю движения, показывающую, как пешеход перемещается с течением времени.
• Оценка положения в реальном мире: Обратное перспективное преобразование (IPM) переводит двумерные координаты пикселей в приблизительные положения на плоскости земли, помогая системе определять, где пешеходы находятся в реальном пространстве относительно транспортного средства.
• Построение вида сверху с помощью cGAN: Условная GAN — модель ИИ, преобразующая один формат изображения в другой, — создаёт представление сцены с высоты птичьего полёта. Такой вид сверху упрощает анализ положения пешеходов и окружающей обстановки.
• Прогнозирование траекторий с помощью модели LSTM: Используя прошлые положения и закономерности движения каждого пешехода, модель LSTM прогнозирует, куда он, вероятно, переместится в ближайшие несколько секунд.
• Эффективное обнаружение столкновений с помощью конусов столкновения: Прогнозируемые траектории сравниваются методом конусов столкновения, который позволяет определить, могут ли траектории транспортного средства и любого пешехода пересечься.
• Предотвращение столкновений с помощью сигналов: Если система прогнозирует столкновение, она включает звуковой сигнал (например, гудок или звонок) в оптимальный момент. Время подачи сигнала выбирается так, чтобы повлиять на поведение пешеходов и дать им возможность ускориться или замедлиться и добраться до безопасного места.

Обеспечение безопасности пешеходов в городах с помощью периферийного компьютерного зрения и YOLO#

Ещё один подход к предотвращению столкновений выходит за рамки транспортных средств и сосредоточен на самой инфраструктуре. Вместо датчиков внутри автомобиля в этом методе используются умные камеры, установленные на пешеходных переходах и перекрёстках, чтобы в реальном времени отслеживать движение пешеходов и транспортных средств. В таких местах часто возникают непредсказуемые ситуации: люди могут внезапно выйти на дорогу, велосипедисты — лавировать в потоке, а водители — не всегда сбавлять скорость, поэтому важно заранее выявлять риски.

В одном интересном исследовании эту идею изучили с помощью системы под названием NAVIBox — устройства для периферийного компьютерного зрения, предназначенного для прогнозирования рисков столкновения транспортных средств с пешеходами прямо на перекрёстке. Система использует модель Ultralytics YOLOv8 для обнаружения пешеходов и транспортных средств, а также облегчённый трекер Centroid для отслеживания объектов между кадрами. Благодаря этому формируются короткие и надёжные истории движения, которые затем уточняются перспективным преобразованием: оно переводит наклонный вид с камеры CCTV в более наглядное представление дороги сверху.

С помощью уточнённых траекторий NAVIBox оценивает, как участники дорожного движения, вероятно, будут перемещаться в ближайшие несколько секунд, и проверяет, могут ли их пути пересечься (это также называют проверкой пересечения траекторий). Обнаружив рискованное взаимодействие, система немедленно отправляет предупреждения водителям через дисплеи, а пешеходам — через громкоговорители, не используя удалённый сервер или сетевое подключение. Испытания в реальных городских условиях показали, что NAVIBox работает достаточно быстро для реагирования в реальном времени и точно выявляет потенциальные столкновения, что делает её практичным средством обеспечения безопасности на оживлённых городских перекрёстках.

Рис. 5. Прогнозирование риска столкновения транспортных средств с пешеходами. (Источник)

Преимущества и недостатки обнаружения и прогнозирования столкновений#

Вот некоторые преимущества систем прогнозирования столкновений на базе ИИ:

• Повышение ситуационной осведомлённости: Системы ИИ непрерывно отслеживают перемещение объектов в среде, помогая лучше понимать потоки людей в масштабных пространствах, дорожное движение или траектории машин.
• Аналитика на основе данных для долгосрочного планирования: Регистрируя обнаружения, опасные сближения и закономерности движения, системы ИИ предоставляют аналитику, которую городские планировщики, специалисты по безопасности и операторы автопарков могут использовать для перепроектирования перекрёстков, улучшения дорожных знаков или корректировки рабочих процедур.
• Экономичное предотвращение рисков: Выявляя риски до того, как они перерастут в серьёзные ситуации, такие системы помогают избежать дорогостоящих аварий, страховых выплат и ремонта оборудования.

Несмотря на свои преимущества, системы прогнозирования столкновений имеют и определённые ограничения. Вот несколько проблем, которые стоит учитывать:

• Ограничения при размещении датчиков и камер: Неправильно расположенные или наклонённые камеры могут искажать размеры объектов или расстояние до них, снижая надёжность оценки глубины и прогнозирования траекторий.
• Перекрытие объектов: Другие объекты могут частично или полностью скрывать объекты. Это затрудняет отслеживание объектов, поскольку модель теряет визуальную непрерывность.
• Условия окружающей среды: Недостаточное освещение, яркий солнечный свет, дождь, туман или низкое качество камеры могут мешать модели чётко видеть сцену и снижать точность.

Главные выводы#

Прогнозирование столкновений объединяет две возможности: компьютерное зрение, которое помогает системам понимать, что происходит вокруг прямо сейчас, и прогнозирование траекторий, позволяющее предвидеть, что может произойти дальше.

Объединив эти возможности, машины могут обнаруживать движущиеся объекты в реальном времени и прогнозировать, как эти объекты могут взаимодействовать в ближайшие секунды. По мере развития компьютерного зрения и методов прогнозирования прогнозирование столкновений, вероятно, станет важной частью создания более безопасных, надёжных и масштабируемых автономных систем.

Загляни в наше сообщество и репозиторий GitHub, чтобы узнать больше об ИИ. Изучи такие применения, как ИИ в здравоохранении и компьютерное зрение в производстве, на страницах наших решений. Ознакомься с нашими вариантами лицензирования и начинай создавать уже сегодня!