Компьютерное зрение в навигационных приложениях: обзор

Сегодня достать телефон, ввести пункт назначения и следовать пошаговым указаниям, чтобы добраться до него, кажется простым делом. На это уходят всего несколько секунд. Но за этим повседневным удобством стоят годы технологического прогресса. Навигация прошла большой путь: от бумажных карт и компасов до интеллектуальных систем, способных понимать окружающий мир и реагировать на него в реальном времени.

Одна из технологий, лежащих в основе этих изменений, — компьютерное зрение, область искусственного интеллекта (AI), которая позволяет машинам интерпретировать визуальную информацию подобно людям. Современные навигационные инструменты используют изображения в реальном времени со спутников, видеорегистраторов и уличных датчиков, чтобы повышать точность карт, отслеживать состояние дорог и помогать пользователям ориентироваться в сложной обстановке.

В этой статье мы расскажем, как компьютерное зрение совершенствует навигацию: повышает точность GPS-карт, предоставляет актуальную информацию о дорожном движении и поддерживает такие технологии, как навигация с дополненной реальностью и автономные транспортные средства.

Навигационные системы с ИИ и иммерсивной 3D-картографией#

Многие используют такие инструменты, как Google Maps, в повседневной жизни — например, чтобы добраться в другой район или найти кафе поблизости. По мере распространения технологий ИИ появляются всё более продвинутые функции, например Immersive View, представленная Google Maps в 2023 году. Она позволяет пользователям заранее осмотреть часть маршрута в 3D-среде. Это стало возможным благодаря сочетанию ИИ, фотограмметрии и компьютерного зрения.

Рис. 1. Immersive View в Google Maps.

Всё начинается с миллиардов снимков высокого разрешения, сделанных с помощью разного специализированного оборудования. К нему относятся автомобили Street View — машины с 360-градусными камерами, которые ездят по городам, — и устройства Trekker: носимые рюкзаки с установленными камерами для съёмки мест, недоступных для автомобилей, например туристических троп или узких переулков.

Эти изображения совмещают с картографическими данными с помощью фотограмметрии — технологии, которая объединяет 2D-фотографии, снятые под разными углами, чтобы создавать точные 3D-модели улиц, зданий и ландшафта.

Затем компьютерное зрение анализирует эти модели с помощью обнаружения объектов и сегментации изображений, чтобы выявлять и размечать важные элементы, например дорожные знаки, тротуары, пешеходные переходы и входы в здания.

Рис. 2. Immersive View использует сегментацию для выделения объектов на улице.

Размеченные данные используют для обучения систем ИИ, которые распознают различия в визуальных признаках между регионами. Например, система легко отличает знак «SLOW» в США, обычно представляющий собой жёлтый или оранжевый ромб, от похожего знака в Японии, который обычно имеет форму красно-белого треугольника. Благодаря такому уровню понимания навигация становится точнее и лучше учитывает культурные особенности.

Наконец, Immersive View накладывает на 3D-среду актуальные навигационные маршруты и обеспечивает плавную и интуитивно понятную навигацию, точно показывая, куда нужно направляться.

Дополненная реальность в навигационных решениях#

Наверное, каждый из нас хотя бы раз крутился на месте, пытаясь понять, в какую сторону указывает Google Maps. Именно эту проблему призвана решить навигация с дополненной реальностью (AR) — технология, накладывающая цифровую информацию на изображение с камеры реального мира. Она меняет подход к навигации в оживлённых местах, например на городских улицах или в больших помещениях.

Обычными картами бывает сложно пользоваться, особенно если сигнал GPS слабый или работает с перебоями. Навигация с AR решает эту проблему, отображая цифровые указания, стрелки и подписи прямо поверх изображения реального мира с камеры. Пользователи видят подсказки, соответствующие окружающим улицам и зданиям, и им гораздо проще понять, куда идти.

Как дополненную реальность используют в навигации#

Навигация с дополненной реальностью использует модели компьютерного зрения, чтобы анализировать окружающую среду через камеру устройства. Для этого выполняются различные задачи, например локализация изображения: система обнаруживает такие признаки, как края зданий или дорожные знаки, и сопоставляет их с сохранённой картой. Одновременная локализация и построение карты (SLAM) создаёт карту окружающей среды и одновременно отслеживает положение устройства в реальном времени.

Например, аэропорт Цюриха первым внедрил Google Maps Live View для навигации внутри здания. Пассажиры могут использовать камеры телефонов, чтобы видеть стрелки и указания, наложенные на изображение реального мира, и ориентироваться в терминалах по пути к выходам на посадку, магазинам и различным службам. Это упрощает навигацию в сложных внутренних пространствах и улучшает впечатления пассажиров.

Рис. 3. Аэропорт Цюриха использует компьютерное зрение и AR, чтобы помогать пассажирам ориентироваться внутри здания.

Повышение безопасности дорожного движения с помощью навигационных систем на базе ИИ#

Городские улицы становятся всё оживлённее. Из-за увеличения числа автомобилей, переполненных тротуаров и постоянного движения поддерживать безопасный и бесперебойный транспортный поток становится всё сложнее. Чтобы справиться с этим хаосом, многие города обращаются к ИИ и компьютерному зрению.

Умные камеры и датчики, установленные на перекрёстках и вдоль дорог, непрерывно собирают визуальные данные. Эти записи обрабатываются в реальном времени, чтобы выявлять аварии, отслеживать транспортный поток, обнаруживать выбоины, а также замечать незаконную парковку и опасное поведение пешеходов.

Интересный пример — скоростная автомагистраль Smart Airport Expressway в Ханчжоу, Китай. Эту 20-километровую трассу, соединяющую центр Ханчжоу с международным аэропортом Сяошань, оснастили камерами высокого разрешения и радарами миллиметрового диапазона. Эти устройства непрерывно собирают видео и данные с датчиков, которые затем анализируются с помощью компьютерного зрения.

Система не просто записывает видео, а интерпретирует происходящее на дороге. Алгоритмы компьютерного зрения обнаруживают столкновения автомобилей, распознают нарушения ПДД и даже выявляют пешеходов или необычные перемещения рядом со съездами с автомагистралей. Это позволяет дорожным службам реагировать на происшествия за считаные секунды, не выезжая на место.

Эти данные также используются для создания цифрового двойника — актуальной виртуальной 3D-модели автомагистрали, отображающей дорожную обстановку в реальном времени, сведения об автомобилях и возникающие заторы. Сотрудники дорожных служб следят за этой визуализацией, чтобы управлять транспортными потоками, отправлять интеллектуальные оповещения и быстро и точно реагировать на происшествия.

Автономная мобильность и компьютерное зрение в навигации#

Сегодня навигация нужна не только для того, чтобы добраться из точки A в точку B. Она стала важной частью интеллектуальных систем, которые перевозят людей, управляют грузами и принимают решения в реальном времени — как на дорогах, так и внутри складов.

В основе многих таких систем лежит компьютерное зрение, которое позволяет машинам интерпретировать визуальные данные и мгновенно реагировать на окружающую обстановку. Рассмотрим несколько примеров того, как эта технология меняет навигацию в разных условиях.

Навигация складских роботов с помощью компьютерного зрения#

Роботы становятся неотъемлемой частью будущего логистики, особенно на крупных складах. По мере роста спроса в электронной коммерции компании всё чаще используют машины на базе компьютерного зрения, чтобы ориентироваться в сложных пространствах, сортировать товары и быстро и точно управлять запасами.

Например, в центрах обработки заказов Amazon более 750 000 роботов работают вместе с людьми, обеспечивая эффективную работу. Эти роботы активно используют компьютерное зрение, чтобы перемещаться по оживлённым складским площадкам, распознавать товары и быстро и точно принимать решения.

Одна из таких систем — Sequoia, роботизированная платформа, созданная для ускорения обработки запасов. Она использует передовые методы компьютерного зрения, чтобы сканировать, пересчитывать и упорядочивать поступающие товары, упрощая их размещение и извлечение.

Роботизированная рука Vulcan использует камеры и анализ изображений, чтобы безопасно брать товары с полок. Она подстраивает захват под форму и положение каждого предмета и даже распознаёт, когда требуется помощь человека. Другой робот с системой компьютерного зрения, Cardinal, специализируется на сортировке: он сканирует перемешанные стопки посылок и точно размещает их в нужных тележках для отправки.

Рис. 4. Cardinal аккуратно поднимает посылки из общей стопки.

Компьютерное зрение в навигации автономных транспортных средств#

Мы уже рассмотрели, как компьютерное зрение помогает людям и роботам ориентироваться в окружающей среде. Но оно не менее важно для автономных систем, например беспилотных автомобилей, навигация которых полностью зависит от того, что автомобиль может видеть и понимать в реальном времени.

Хороший пример — система Tesla Vision. Tesla выбрала для автономного вождения подход, основанный только на камерах, отказавшись от радара и других датчиков в пользу сети камер, обеспечивающих полный обзор окружающей автомобиль обстановки на 360 градусов. Эти камеры передают визуальные данные в компьютер Full Self-Driving (FSD), который использует глубокие нейронные сети для анализа окружающей обстановки и принятия мгновенных решений при вождении.

На основе полученных изображений система решает, когда поворачивать, ускоряться, тормозить или перестраиваться, — совсем как водитель-человек, но исключительно по визуальным данным. Tesla постоянно совершенствует систему, собирая огромные объёмы данных о реальных поездках своего автопарка и обучаясь на них.

Рис. 5. Tesla использует компьютерное зрение для безопасной автономной навигации (источник: Tesla).

Преимущества и недостатки компьютерного зрения в навигации#

Вот несколько ключевых преимуществ компьютерного зрения в навигации, особенно в системах, где важны точность, безопасность и принятие решений в реальном времени:

• Снижает расход топлива: помогая водителям избегать пробок и маршрутов с частыми остановками и разгонами, компьютерное зрение позволяет сократить общий расход топлива и время в пути, делая ежедневные поездки эффективнее.
• Выявляет износ дорог и проблемы с инфраструктурой: решения на основе компьютерного зрения могут обнаруживать выбоины, стёртую дорожную разметку, сломанные знаки и повреждённую инфраструктуру, предоставляя ремонтным бригадам надёжные данные в реальном времени.
• Интеграция с другими инструментами ИИ: компьютерное зрение можно объединить с голосовыми помощниками, моделями прогнозирования поведения или алгоритмами оптимизации маршрутов, чтобы сделать навигацию более персонализированной.

Компьютерное зрение даёт навигации много преимуществ, но при внедрении таких решений важно учитывать и ряд ограничений. Вот несколько основных проблем:

• Ограниченная обобщающая способность: модели, обученные для конкретных условий или сценариев, часто плохо работают в новых или изменившихся условиях без дополнительного обучения.
• Ограничения, связанные с освещением: системам компьютерного зрения для эффективной работы нужны хорошее освещение и ясная погода. В тумане, сильный дождь или темноту их производительность снижается, если не использовать дополнительные датчики, например LiDAR или радар.
• Риски для конфиденциальности: навигационные системы с камерами могут снимать людей и частную собственность без согласия. Это создаёт проблемы с конфиденциальностью, которые необходимо тщательно учитывать при разработке и внедрении таких систем.

Главные выводы#

Компьютерное зрение меняет навигацию: карты становятся динамичнее, системы управления дорожным движением — умнее, а мобильность — доступнее. Статичные маршруты превращаются в интерактивные сценарии в реальном времени благодаря иммерсивным 3D-превью, указаниям с AR и технологиям автономного транспорта.

По мере развития технологий внимание, вероятно, сместится на то, чтобы сделать эти системы более инклюзивными, адаптивными и ответственными. Дальнейший прогресс будет зависеть от повышения точности в самых разных условиях, сохранения надёжной работы и защиты конфиденциальности пользователей. Будущее компьютерного зрения в навигации — за решениями, которые не только интеллектуальны, но и учитывают особенности людей и влияние своих разработок.

Присоединяйся к нашему растущему сообществу! Загляни в наш репозиторий GitHub, чтобы узнать об ИИ, и ознакомься с вариантами лицензирования, чтобы начать проекты в области визуального ИИ. Интересуешься такими инновациями, как ИИ в розничной торговле и компьютерное зрение в сельском хозяйстве? Посети страницы наших решений, чтобы узнать больше!