Как компьютерное зрение помогает AMR, AGV и автономным вилочным погрузчикам ориентироваться

Компьютерное зрение помогает автономным мобильным роботам, автоматически управляемым транспортным средствам и автономным вилочным погрузчикам обнаруживать людей, палеты, стеллажи, грузы, знаки, участки пола и другие транспортные средства. Ultralytics YOLO может предоставлять результаты обнаружения, сегментации, оценки позы и отслеживания в составе системы восприятия. Он не заменяет локализацию, планирование маршрута, управление транспортным средством или валидированную систему безопасности.

Как правило, оптимальная архитектура использует объединение данных с датчиков. Камеры обеспечивают семантическое понимание и подробную информацию о внешнем виде. Лидар и датчики глубины предоставляют сведения о геометрии и расстоянии. Энкодеры и инерциальные датчики сообщают о движении. Навигационная система объединяет эти данные с учетом транспортного средства, среды и оценки рисков.

Требования к AMR, AGV и автономным вилочным погрузчикам различаются#

AGV часто движется по фиксированным или частично фиксированным маршрутам и зависит от такой инфраструктуры, как маркеры, отражатели или нанесенные на карту пути. AMR обычно планирует движение в обход меняющихся препятствий в картографированной среде. Автономный вилочный погрузчик должен дополнительно учитывать перемещение грузов, геометрию мачты и вил, поднятые грузы и взаимодействие с палетами и стеллажами.

Не подменяй требования этими названиями. Определи:

• рабочие зоны и разрешенные маршруты;
• скорость транспортного средства, характер остановки и диапазон полезной нагрузки;
• людей, транспортные средства и классы объектов, которые нужно обнаруживать;
• освещение в помещении и на улице, погодные условия, пыль и состояние пола;
• требования к локализации и работе с картой;
• слепые зоны, создаваемые транспортным средством и грузом;
• доступность сети и ограничения бортовых вычислений;
• применимые требования к машинам, транспортным средствам и безопасности на рабочем месте.

Вклад компьютерного зрения#

Навигационное приложение должно получать явные наблюдения с временными метками. Оно должно знать кадр камеры, версию модели, достоверность и давность каждого результата, чтобы отбрасывать устаревшие или противоречивые данные.

Камеры, лидары и датчики глубины дополняют друг друга#

Монокулярные камеры обеспечивают передачу цвета и текстуры при сравнительно невысокой сложности оборудования, но не измеряют непосредственно метрическую глубину. Стереокамеры и камеры активного измерения глубины оценивают расстояние в пределах своих рабочих диапазонов. Лидар обеспечивает прямые геометрические измерения и может оставаться полезным при изменении внешнего вида объектов, хотя свойства материала, погода и геометрия по-прежнему имеют значение.

Выбирай датчики на основе анализа отказов. Подумай, какие опасности или навигационные ориентиры останутся незамеченными, если один из датчиков будет закрыт, насыщен сигналом, загрязнён или недоступен. Резервирование помогает только тогда, когда режимы отказа в достаточной степени независимы друг от друга, а логика объединения данных учитывает расхождения.

При размещении камер учитывай повороты, движение задним ходом, положение вил и изменение груза. Проверяй поле зрения с максимально допустимым грузом и при каждом положении мачты. Добавь очистку, осмотр и проверку юстировки в регламент технического обслуживания.

Собирай набор данных для распознавания по маршрутам, а не по отдельным изображениям#

Собирай данные обо всех условиях маршрутов на разных площадках, сменах и типах проходов, на перекрёстках и погрузочных площадках, при движении людей и транспорта, с разными состояниями груза и оборудования. Добавляй сложные негативные примеры: плакаты, отражения, манекены, штабели материалов и частичные изображения, похожие на целевые классы.

Разделяй данные для оценки по маршруту, времени или площадке, чтобы в обучающую и тестовую выборки не попадали почти одинаковые видеокадры. Отчитывайся о результатах по расстоянию, перекрытию, освещению, движению и типу объекта. Одно среднее значение может скрыть самые важные случаи у перекрёстков и погрузочных площадок.

Платформа Ultralytics помогает аннотировать данные, обучать модели и управлять версиями пользовательских моделей распознавания Ultralytics YOLO. Экспортированные модели можно запускать на поддерживаемых бортовых или периферийных средах выполнения с учётом вычислительных ресурсов и ограничений по задержке транспортного средства.

Интегрируй распознавание с ROS 2 или другим робототехническим стеком#

Робототехническая интеграция обычно публикует детекции или маски с временными метками и сведениями о системе координат. Слой преобразований связывает координаты камеры с координатами транспортного средства. Навигационный слой или слой поведения использует наблюдения вместе с картами, датчиками дальности, данными одометрии и состоянием задачи.

Предусмотри:

• Синхронизацию времени между датчиками.
• Ограничение задержки и отбрасывание устаревших сообщений.
• Состояния исправности камеры и модели.
• Чётко заданное поведение при расхождении показаний датчиков.
• Достаточный объём записанных данных для воспроизведения события.
• Версионирование схем сообщений и выходных данных модели.
• Конкуренцию за ресурсы между распознаванием, локализацией и планированием.

Не связывай навигацию напрямую с недокументированным выходом модели. Стабильный интерфейс позволяет развивать распознавание, не меняя незаметно поведение транспортного средства.

Граница безопасности#

Компьютерное зрение общего назначения может помогать оценивать обстановку и принимать операционные решения, но его не следует представлять как сертифицированное защитное устройство. Остановка транспортного средства, защитные поля, аварийные функции и проверка безопасности относятся к применимой архитектуре безопасности и компетентному инженерному процессу.

Документируй, что происходит при отказе модели, камеры, вычислительной системы или сети. В зависимости от конструкции системы безопасное состояние может требовать снижения скорости, контролируемой остановки, ограничения маршрута или перехода в другой режим работы. Проверяй такое поведение на полностью собранном транспортном средстве.

План оценки#

Проверяй распознавание, навигацию и эксплуатацию по отдельности и в комплексе.

Проверки распознавания#

• Обнаружение и локализация с учётом расстояния, направления, освещения и перекрытий.
• Непрерывность отслеживания при пересечении траекторий и временном перекрытии.
• Ложные срабатывания на фоновые объекты и отражения.
• Работа с загрязнёнными, смещёнными, размытыми или частично закрытыми камерами.
• Сквозная задержка и потребление ресурсов на целевом вычислительном устройстве.

Проверки навигации#

• Перекрёстки, узкие проходы, слияния потоков, обгоны, движение задним ходом и стыковка.
• Неподвижные и движущиеся препятствия при характерных скоростях.
• Изменения карты, временные барьеры и перекрытия маршрутов.
• Расхождения показаний датчиков, задержка сообщений и отсутствие входных данных.
• Восстановление после потери локализации или отказа компонента распознавания.

Эксплуатационные проверки#

• Подъём, перевозка и размещение грузов на палетах разных типов.
• Поведение с поднятым грузом или грузом, закрывающим обзор.
• Смена смен, зарядка, запуск, выключение и техническое обслуживание.
• Восстановление хода событий при инцидентах и откат модели.

Измеряй долю выполненных миссий, количество вмешательств, задержки на маршруте, время простоя, ошибки распознавания и поведение при восстановлении. Не делай вывод о безопасности навигации только по точности модели.

Варианты развёртывания#

Бортовой инференс снижает зависимость от сетевого подключения и позволяет обрабатывать данные датчиков с высокой частотой непосредственно на транспортном средстве. Для него нужны контролируемые обновления ПО, мониторинг ресурсов, управление хранилищем и поддержка оборудования всего парка.

Централизованные сервисы упрощают управление моделями и сбор данных для анализа, но при управлении транспортным средством в реальном времени нужно учитывать задержки и потери сети. Гибридная архитектура может выполнять оперативное распознавание на борту, а централизованно управлять утверждёнными артефактами моделей, метаданными и выбранными примерами для анализа.

Выпускай обновления поэтапно. Начни с воспроизведения записей, затем перейди к тестовой зоне, наблюдениям в теневом режиме, ограниченной эксплуатации и контролируемой подгруппе парка, прежде чем внедрять решение повсеместно. Сохраняй заведомо работоспособную модель и конфигурацию для отката.