Ultralytics на Arm Create 2026: визуальный искусственный интеллект в реальном времени на периферийном устройстве
Ultralytics на Arm Create 2026: развертывание Ultralytics YOLO для периферийного искусственного интеллекта в реальном времени, инсайты с панели моделей и новый портал искусственного интеллекта Arm.
11 сентября 2026 года наш специалист по маркетингу Ziyue Wang и старший инженер по машинному обучению Рик Хоу (Rick Hou) приняли участие в Arm Create — мероприятии Arm для разработчиков, посвященном созданию, оптимизации и развертыванию ИИ в облаке, на периферийных устройствах, мобильных платформах и физических системах. Мы сосредоточились на развертывании Ultralytics YOLO на периферийных устройствах: как взять обученную модель компьютерного зрения и запустить ее в реальном времени на устройствах на базе Arm.
Мероприятие в Шэньчжэне последовало за предыдущей остановкой в Шанхае, и на обоих событиях обсуждался вопрос, с которым рано или поздно сталкивается каждый разработчик ИИ: как превратить мощную модель в программное обеспечение, которое надежно работает в реальном мире?
Вот краткий обзор нашей сессии, панели моделей и того, как Arm и Ultralytics работают вместе, чтобы сделать Ultralytics YOLO более доступным для разработчиков, создающих решения на базе Arm.
Развертывание Ultralytics YOLO для периферийного ИИ в реальном времени#
Наш старший инженер по машинному обучению Рик Хоу (Rick Hou) представил доклад «Развертывание Ultralytics YOLO: Визуальный ИИ в реальном времени на периферийных устройствах» — практическую сессию по оптимизации и развертыванию моделей Ultralytics YOLO на периферийных устройствах. В выступлении был подробно разобран весь путь развертывания и представлены уроки использования Ultralytics YOLO в производственных приложениях периферийного ИИ.
Рис. 1. Рик из Ultralytics представляет развертывание Ultralytics YOLO на периферийных устройствах на Arm Create.
Экспорт моделей Ultralytics YOLO для периферийных сред выполнения#
Первым шагом при развертывании на периферийных устройствах является экспорт обученной модели в формат, поддерживаемый целевой средой выполнения. Рик рассказал о том, как правильный формат экспорта зависит от устройства, механизма инференса и целевых показателей производительности приложения.
Квантование моделей для более быстрого инференса на устройстве#
Квантование снижает числовую точность модели, например с FP32 до FP16 или INT8, что уменьшает размер модели и ускоряет инференс с минимальной потерь точности. На сессии объяснялось, как соблюдать баланс между скоростью и точностью при жестких ограничениях на вычислительные ресурсы, память и энергопотребление.
Достижение производительности компьютерного зрения в реальном времени на периферийных устройствах#
Компьютерное зрение в реальном времени на периферийных устройствах зависит не только от модели. Предобработка, выбор среды выполнения и аппаратное ускорение — всё это влияет на задержку и пропускную способность. Рик рассказал, как выявлять узкие места и оптимизировать весь конвейер инференса.
Уроки производственного развертывания периферийного ИИ#
Бенчмарки — это отправная точка, но реальная проверка заключается в том, как модель работает на том устройстве, на котором она будет поставляться, в реальных условиях эксплуатации. Проверка на реальном целевом оборудовании стала ключевым выводом сессии и темой, которая звучала на протяжении всего Arm Create.
Панель моделей с участием Arm, Alibaba Qwen, Tencent и ModelBest#
Рик также принял участие в дискуссии на панели моделей с представителями Arm, Alibaba Qwen, Tencent и ModelBest. Вместо прямого сравнения моделей участники панели сосредоточились на соответствии приложений: что требуется рабочей нагрузке, где она должна выполняться и как она ведет себя после развертывания.
Рис. 2. Панель моделей с участием Arm, Alibaba Qwen, Tencent, ModelBest и Ultralytics на Arm Create.
Выбор правильной модели для рабочей нагрузки#
Функция быстрого ответа в мобильном приложении, облачный агент, анализирующий большие наборы документов, и конвейер периферийного зрения — все они требуют совершенно разных моделей. Выступая в качестве голоса визуального ИИ на панели, Рик представил перспективу периферийных устройств, где задержка, эффективность и надежность на устройстве часто имеют гораздо большее значение, чем размер модели.
Arm AI Portal: Повышение доступности Ultralytics YOLO на Arm#
Arm Create в Шэньчжэне прошла всего через несколько дней после того, как компания Arm запустила Arm AI Portal — хаб, который помогает разработчикам и агентам ИИ находить, оптимизировать и развертывать программное обеспечение ИИ на вычислительной платформе Arm. Разработчики могут находить специализированные, предварительно оптимизированные модели с данными о производительности и точности, сравнивать задержку, объем памяти и размер модели, а также получать доступ к примерам кода и рабочим процессам развертывания.
Предварительно оптимизированные модели Ultralytics YOLO на момент запуска#
Ultralytics YOLO входит в число предварительно оптимизированных моделей, доступных на момент запуска, наряду с Alibaba Qwen и Google Gemma, причем Ultralytics поддерживает портал в качестве экосистемного партнера.
Прирост производительности Ultralytics YOLO26n на Arm#
Первые результаты многообещающие. Ultralytics YOLO26n добилась более чем 40%-го прироста производительности при однопоточном выполнении в двух конфигурациях:
- FP16 по сравнению с FP32 на смартфоне vivo X300 с поддержкой SME2
- Смешанное квантование FP16 и INT8 по сравнению с FP32 на Raspberry Pi 5 с поддержкой NEON
Что это значит для разработчиков периферийного ИИ#
Arm AI Portal сокращает время, которое разработчики тратят на поиск, бенчмаркинг и ручную настройку моделей, создавая более быстрый путь от выбора модели до ее развертывания на оборудовании на базе Arm. Это поддерживает нашу миссию — сделать передовой визуальный ИИ простым и доступным для каждого. Изучите Ultralytics YOLO на Arm AI Portal.
Основные выводы#
Спасибо команде Arm за прием и всем, кто заглянул к нам, чтобы обсудить развертывание на периферийных устройствах, квантование и реальный визуальный ИИ. Беседы в Шэньчжэне показали, как быстро созревает экосистема периферийного ИИ, когда модели, инструменты и аппаратное обеспечение созданы для совместной работы.
Следующее мероприятие Arm Create направляется в США, и мы с нетерпением ждем продолжения беседы. А тем временем посетите документацию Ultralytics, чтобы начать развертывание Ultralytics YOLO на собственных периферийных устройствах.
