Как компьютерное зрение направляет AMR, AGV и автономные погрузчики
Что компьютерное зрение дает для навигации AMR, AGV и автономных погрузчиков, как камеры, лидары и датчики глубины дополняют друг друга и где находится безопасность.
Компьютерное зрение помогает автономным мобильным роботам, автоматизированным управляемым тележкам и автономным вилочным погрузчикам распознавать людей, поддоны, стеллажи, грузы, знаки, зоны пола и другие транспортные средства. Ultralytics YOLO обеспечивает обнаружение, сегментацию, оценку позы и отслеживание в рамках этого стека восприятия. Это не заменяет локализацию, планирование маршрута, управление транспортным средством или проверенную систему безопасности.
Лучшей архитектурой обычно является слияние датчиков. Камеры обеспечивают семантическое понимание и богатую информацию о внешнем виде. Лидары и датчики глубины дают геометрию и дальность. Энкодеры и инерциальные датчики отслеживают движение. Навигационная система объединяет эти данные с учетом особенностей транспортного средства, среды и оценки рисков.
Требования к AMR, AGV и автономным вилочным погрузчикам различаются#
AGV часто движется по фиксированным или полуфиксированным маршрутам и зависит от инфраструктуры, такой как маркеры, отражатели или нанесенные на карту пути. AMR обычно планирует обход меняющихся препятствий в картированной среде. Автономный вилочный погрузчик добавляет задачи по обработке грузов, учету геометрии мачты и вил, работе с поднятыми грузами, а также взаимодействию с поддонами и стеллажами.
Не используйте эти категории вместо требований. Определите:
- Рабочие зоны и разрешенные маршруты.
- Скорость транспортного средства, поведение при торможении и диапазон полезной нагрузки.
- Людей, транспортные средства и классы объектов, которые необходимо распознавать.
- Внутреннее и внешнее освещение, погоду, пыль и состояние пола.
- Требуемую локализацию и поведение карты.
- Слепые зоны, создаваемые самим транспортным средством и грузом.
- Доступность сети и ограничения бортовых вычислительных ресурсов.
- Применимые требования безопасности для техники, транспортных средств и рабочих мест.
Что дает компьютерное зрение#
| Функция восприятия | Возможная задача зрения | Использование в навигации | Ключевое ограничение |
|---|---|---|---|
| Обнаружение людей и транспорта | Обнаружение и отслеживание объектов | Семантическая осведомленность и логика поведения | Обнаружение по умолчанию не является функцией защитной безопасности |
| Распознавание поддонов и стеллажей | Обнаружение, сегментация или ключевые точки | Контекст стыковки, подбора и размещения | Окклюзия и поврежденные поддоны меняют внешний вид |
| Оценка свободного пространства | Семантическая сегментация или глубина | Данные о проходимости | Отражения на полу и скрытая геометрия могут ввести в заблуждение систему только с камерами |
| Мониторинг состояния груза | Обнаружение или классификация | Подтверждение наличия груза и видимого выравнивания | Скрытый вес и стабильность требуют других датчиков |
| Распознавание знаков и маркеров | Обнаружение с декодированием | Контекст маршрута или рабочего процесса | Грязь, износ и угол обзора влияют на читаемость |
| Визуальная локализация | Отслеживание признаков или визуальный SLAM | Оценка позы (pose estimation) | Повторяющиеся проходы и меняющиеся сцены могут снизить надежность |
| Движение объектов | Многообъектное отслеживание | Прогнозирование траекторий движения поблизости | Движение камеры и окклюзия требуют тщательного слияния |
Навигационное приложение должно обрабатывать явные наблюдения с временными метками. Ему требуется информация о кадре камеры, версии модели, степени уверенности и актуальности каждого результата, чтобы отбрасывать устаревшие или противоречивые данные.
Камера, лидар и датчики глубины дополняют друг друга#
Монокулярные камеры обеспечивают цвет и текстуру при относительно низкой аппаратной сложности, но напрямую не измеряют метрическую глубину. Стереокамеры и камеры активной глубины оценивают дальность в пределах своего рабочего диапазона. Лидар предоставляет прямые геометрические измерения и остается полезным там, где внешний вид меняется, хотя материал, погода и геометрия по-прежнему имеют значение.
Выбор датчиков должен основываться на анализе отказов. Задай вопрос, какие опасности или навигационные функции будут пропущены, если один датчик окажется заблокирован, перегружен, загрязнен или недоступен. Избыточность помогает только тогда, когда режимы отказов достаточно независимы, а логика слияния корректно разрешает разногласия.
Расположение камер должно учитывать повороты, движение задним ходом, положение вил и меняющиеся грузы. Проверяй поле зрения с максимальной разрешенной нагрузкой и в каждом состоянии мачты. Добавь проверки очистки, осмотра и выравнивания в регламент технического обслуживания.
Создавай набор данных для восприятия на основе маршрутов, а не изолированных изображений#
Собирай полные данные об условиях маршрутов на объектах, в разные смены, для различных типов проходов, пересечений, зон погрузки, в условиях движения людей и транспорта, при разных состояниях груза и обслуживания. Включай сложные ложные срабатывания, такие как плакаты, отражения, манекены, сложенные материалы и частичные виды, похожие на целевые классы.
Разделяй данные для оценки по маршруту, времени или объекту, чтобы избежать появления практически одинаковых видеокадров в обучении и тестировании. Оценивай производительность в зависимости от расстояния, окклюзии, освещения, движения и типа объекта. Единое среднее значение может скрыть проблемы, которые важнее всего вблизи пересечений или зон стыковки.
Ultralytics Platform поддерживает разметку, обучение и управление версиями для пользовательских моделей восприятия Ultralytics YOLO. Экспортированные модели могут работать на поддерживаемых бортовых или периферийных средах выполнения, выбранных с учетом ограничений транспортного средства по вычислениям и задержкам.
Интегрируй восприятие с ROS 2 или другим робототехническим стеком#
Интеграция с робототехникой обычно публикует обнаружения или маски с временными метками и информацией о системе координат. Слой преобразования связывает координаты камеры с транспортным средством. Слой навигации или поведения использует наблюдения наряду с картами, датчиками дальности, одометрией и состоянием задач.
Учитывай при проектировании:
- Синхронизацию времени между датчиками.
- Ограниченную задержку и отбраковку устаревших сообщений.
- Состояния исправности камеры и модели.
- Определенное поведение при расхождении данных датчиков.
- Записанные данные, достаточные для воспроизведения события.
- Версионируемые схемы сообщений и выводы модели.
- Борьбу за ресурсы между восприятием, локализацией и планированием.
Избегай прямой привязки навигации к недокументированным выводам модели. Стабильный интерфейс позволяет системе восприятия развиваться без незаметного изменения поведения транспортного средства.
Граница безопасности#
Компьютерное зрение общего назначения может поддерживать осведомленность и оперативные решения, но его нельзя называть сертифицированным защитным устройством. Остановка транспортного средства, защитные зоны, функции экстренной помощи и проверка безопасности относятся к применимой архитектуре безопасности и компетентному инженерному процессу.
Задокументируй, что происходит при сбое модели, камеры, вычислений или сети. Безопасное состояние может потребовать снижения скорости, управляемой остановки, ограничения маршрута или перехода в другой режим работы в зависимости от конструкции системы. Проверь это поведение на полностью собранном транспортном средстве.
План оценки#
Тестируй восприятие, навигацию и операции по отдельности и в комплексе.
Тесты восприятия#
- Обнаружение и локализация по расстоянию, направлению, освещению и окклюзии.
- Непрерывность отслеживания при пересечениях и временных препятствиях.
- Ложные срабатывания от фоновых объектов и отражений.
- Производительность при загрязненных, смещенных, размытых или частично заблокированных камерах.
- Комплексная задержка и использование ресурсов на целевых вычислителях.
Навигационные тесты#
- Перекрестки, узкие проходы, слияния, обгон, движение задним ходом и стыковка.
- Статичные и движущиеся препятствия на типичных скоростях.
- Изменения карт, временные барьеры и закрытия маршрутов.
- Расхождения датчиков, задержки сообщений и отсутствие входных данных.
- Восстановление после потери локализации или недоступности компонента восприятия.
Эксплуатационные тесты#
- Подбор, транспортировка и размещение груза для различных вариантов поддонов.
- Поведение с поднятыми или загораживающими обзор грузами.
- Смена смен, зарядка, запуск, выключение и техническое обслуживание.
- Реконструкция инцидентов и откат модели.
Измеряй завершенность миссий, вмешательства оператора, задержки на маршруте, время простоя, ошибки восприятия и поведение при восстановлении. Не делай выводов о безопасности навигации только на основе точности модели.
Выбор вариантов развертывания#
Бортовой вывод минимизирует зависимость от сетевого подключения и позволяет сохранять высокочастотные данные датчиков на транспортном средстве. Это требует контролируемых обновлений программного обеспечения, мониторинга ресурсов, управления хранилищем и аппаратной поддержки всего парка техники.
Централизованные службы могут упростить управление моделями и сбор данных для анализа, но поведение транспортного средства в реальном времени должно учитывать сетевые задержки и потери связи. Гибридная архитектура может выполнять немедленное восприятие на борту и одновременно централизованно управлять утвержденными артефактами моделей, метаданными и выбранными примерами для проверки.
Используй поэтапные релизы. Начинай с воспроизведения записанных данных, затем переходи к тестовой зоне, теневым наблюдениям, ограниченной эксплуатации и контролируемой подгруппе парка перед широким внедрением. Сохраняй проверенную рабочую модель и конфигурацию для возможного отката.
Часто задаваемые вопросы
YOLO может обеспечивать визуальное восприятие, такое как обнаружение объектов, сегментация, поза или отслеживание. Навигационный стек по-прежнему выполняет локализацию, построение карт, планирование, управление, слияние датчиков и обработку сбоев.
Это зависит от среды и требований, но промышленные системы обычно объединяют камеры с датчиками дальности, движения и безопасности. Грузы вилочного погрузчика создают меняющуюся окклюзию и геометрию, которые необходимо учитывать явно.
Визуальная одновременная локализация и построение карт оценивает движение камеры, одновременно создавая или используя карту на основе визуальных признаков. Это один из подходов к локализации, который может объединяться с инерциальными, колесными, лидарными или другими измерениями.
Встроенный инференс подходит, когда важны низкая задержка, локальность данных или работа при потере сети. Убедись, что целевые вычислительные мощности способны выдержать всю рабочую нагрузку, а обновление и мониторинг автопарка поддерживаются.
Обнаруживай отсутствующие, устаревшие, размытые, заблокированные, смещенные или неправдоподобные входные данные и направляй это состояние в определенное поведение транспортного средства. Реакция должна быть спроектирована и проверена как часть единой системы.
