Расширение возможностей Edge AI с помощью Sony IMX500 и AITRIOS

Edge AI позволяет моделям искусственного интеллекта (ИИ) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Его главное преимущество заключается в том, что оно обеспечивает более быстрое принятие решений в реальном времени без обращения к облаку. Фактически исследования показывают, что использование ИИ на периферийных платформах может повысить операционную эффективность до 40%.

Недавние достижения в области edge AI, особенно в computer vision, сделали её центральной темой на YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии компании Ultralytics, которое объединяет энтузиастов и экспертов в области ИИ для изучения последних новинок Vision AI. Одним из главных событий мероприятия стала основная презентация Sony, на которой были представлены новые передовые аппаратные средства ИИ и программные решения. Были продемонстрированы датчик IMX500 и платформа AITRIOS, а компания Sony показала, как эти инновации упрощают и повышают эффективность развертывания моделей Ultralytics YOLO, таких как Ultralytics YOLO11 и Ultralytics YOLOv8, на периферии.

Сессию вели Wei Tang, менеджер по развитию бизнеса, занимающийся решениями Sony для обработки изображений, и Amir Servi, менеджер по продуктам глубокого обучения на периферии, обладающий опытом развертывания моделей глубокого обучения на периферийных устройствах.

В этой статье мы вернемся к выступлению Sony на YV24 и разберемся, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки ИИ в реальном времени на самом устройстве. Давай начнем!

Видение Sony: демократизация ИИ на периферийных устройствах#

Wei Tang открыла сессию рассказами о стремлении Sony сделать edge AI таким же доступным, каким много лет назад сделали фотографии. Она подчеркнула, как компания Sony теперь сосредоточена на том, чтобы сделать передовой Vision AI доступным для большего числа людей с помощью периферийных вычислений. Одним из движущих факторов этого является положительное влияние edge AI на окружающую среду. Обрабатывая данные непосредственно на устройствах вместо того, чтобы полагаться на массивные дата-центры, периферийные вычисления помогают сократить энергопотребление и снизить выбросы углекислого газа. Это более умный и экологичный подход, который идеально соответствует стремлению Sony создавать технологии, которые не только работают лучше, но и помогают формировать более устойчивое будущее.

Wei продолжила рассказ о том, как подразделение Sony Semiconductor Solutions, специализирующееся на технологиях обработки изображений и датчиков, создаёт передовые датчики изображения. Эти датчики используются в самых разных устройствах, преобразуя свет в электронные сигналы для захвата изображений. Ежегодно поставляется более 1,2 миллиарда таких датчиков, и они обнаруживаются почти в половине мобильных телефонов по всему миру, что делает Sony ключевым игроком в индустрии формирования изображений.

Fig 1. Примеры датчиков изображения Sony.

Опираясь на этот опыт, компания Sony делает следующий шаг, превращая эти датчики из устройств захвата изображений в умные инструменты, способные обрабатывать данные в реальном времени, обеспечивая аналитику на базе ИИ прямо на устройствах. Прежде чем мы обсудим аппаратные и программные решения, которые Sony использует для поддержки этого перехода, давай разберем проблемы edge AI, которые эти инновации призваны решить.

Проблемы, связанные с обработкой изображений ИИ на периферийных устройствах#

Разработка решений edge AI связана с несколькими ключевыми трудностями, особенно при работе с такими устройствами, как камеры и датчики. Многие из этих устройств имеют ограниченную мощность и вычислительные возможности, что затрудняет эффективный запуск передовых моделей ИИ.

Вот некоторые из других основных ограничений:

• Сложность программного обеспечения: Адаптация моделей ИИ для работы на различных периферийных устройствах с разными аппаратными конфигурациями может быть сложной задачей и требует настройки и оптимизации.
• Узкие места постобработки: Часто возникает задержка при передаче больших объемов данных с устройства на хост для постобработки. На это часто уходит больше времени, чем на саму инференс модели ИИ.
• Взрывной рост данных: Поскольку множество IoT-устройств постоянно генерируют данные, объем информации, требующей локальной обработки, может оказаться непосильным, что создает дополнительную нагрузку на периферийные устройства.

Знакомство с интеллектуальным сенсором зрения Sony IMX500#

Интеллектуальный датчик изображения Sony IMX500 — это революционное аппаратное решение для периферийной обработки ИИ. Это первый в мире интеллектуальный датчик изображения с функциями ИИ прямо на кристалле. Этот датчик помогает преодолеть многие трудности в сфере edge AI, включая узкие места обработки данных, проблемы конфиденциальности и ограничения производительности.

В то время как другие датчики просто передают изображения и кадры дальше, IMX500 рассказывает целую историю. Он обрабатывает данные прямо на датчике, позволяя устройствам генерировать инсайты в реальном времени. Во время сессии Wei Tang сказала: «Используя нашу передовую технологию датчиков изображения, мы стремимся дать толчок новому поколению приложений, способных улучшить повседневную жизнь». IMX500 создан для достижения этой цели, изменяя то, как устройства обрабатывают данные непосредственно на датчике, без необходимости отправлять их в облако для обработки.

Вот некоторые из его ключевых особенностей:

• Вывод метаданных: Вместо передачи полных изображений он выводит метаданные, что значительно сокращает размер данных, снижая потребление полосы пропускания и затраты.
• Повышенная конфиденциальность: Обрабатывая данные на самом устройстве, IMX500 повышает конфиденциальность, особенно в ситуациях, когда затрагивается чувствительная информация, например, в связанных с людьми задачах компьютерного зрения, таких как подсчет людей.
• Обработка в реальном времени: Способность датчика быстро обрабатывать данные означает поддержку быстрого принятия решений в реальном времени, что делает возможными такие приложения edge AI, как автономные системы.

IMX500 — это не просто камера-датчик, это мощный инструмент восприятия, который меняет то, как устройства воспринимают окружающий мир и взаимодействуют с ним. Встраивая ИИ непосредственно в датчик, компания Sony делает edge AI более доступным для таких отраслей, как автомобильная промышленность, здравоохранение и умные города. В следующих разделах мы подробнее рассмотрим, как IMX500 работает с моделями Ultralytics YOLO для улучшения обнаружения объектов и обработки данных на периферийных устройствах.

Рис. 2. Вэй Тан на сцене YOLO Vision 2024 представляет интеллектуальный сенсор зрения Sony IMX500.

Платформа Sony AITRIOS: упрощение edge AI#

Представив датчик IMX500, Wei Tang отметила, что, хотя аппаратное обеспечение имеет решающее значение, само по себе оно не способно решить весь спектр задач, связанных с развертыванием ИИ на периферии. Она рассказала о том, что интеграция ИИ на таких устройствах, как камеры и датчики, требует не просто продвинутого «железа», но и умного программного обеспечения для управления им. Именно здесь на помощь приходит платформа AITRIOS от Sony, предлагающая надежное программное решение, созданное для того, чтобы сделать развертывание ИИ на периферийных устройствах проще и эффективнее.

AITRIOS выступает в роли моста между сложными моделями ИИ и ограничениями периферийных устройств. Она предоставляет разработчикам ряд инструментов для быстрого развертывания предварительно обученных моделей ИИ. Но что еще важнее, она поддерживает непрерывное переобучение, благодаря чему модели ИИ могут адаптироваться к изменениям в реальном мире.

Wei также подчеркнула, как AITRIOS упрощает процесс для тех, кто не обладает глубокими знаниями в области ИИ, предоставляя гибкость для настройки моделей ИИ под конкретные сценарии применения edge AI. Она также решает распространенные проблемы, такие как ограничения памяти и падение производительности, что облегчает интеграцию ИИ в небольшие устройства без ущерба для точности и скорости.

Рис. 3. Примеры вариантов использования edge AI. Источник изображения: SONY Semicon | AITRIOS.

Оптимизация моделей YOLO на IMX500#

Во второй части выступления микрофон перешел к Амиру, который углубился в технические аспекты оптимизации моделей YOLO компанией Sony на датчике IMX500.

Амир начал со слов: «Модели YOLO созданы для периферийных устройств и довольно просты в оптимизации благодаря Гленну и всей команде. Я вас в этом убежу, не переживайте». Затем Амир пояснил, что, хотя основное внимание обычно уделяется оптимизации самой модели ИИ, такой подход часто упускает из виду важнейшую проблему: узкие места постобработки.

Амир отметил, что во многих случаях после завершения работы модели ИИ процесс передачи данных и выполнения постобработки на хост-устройстве может вызывать значительные задержки. Такая взаимная передача данных между устройством и хостом создает задержки, которые могут стать серьезным препятствием на пути к достижению наилучшей производительности.

Рис. 4. Амир Серви на сцене YOLO Vision 2024 объясняет суть узких мест постобработки.

Для решения этой проблемы Амир подчеркнул важность рассмотрения всей системы целиком от начала до конца, а не фокусирования только на модели ИИ. С датчиком IMX500 они обнаружили, что именно постобработка была главным узким местом, замедляющим всю работу. Он поделился, что настоящим прорывом стала разблокировка немаксимального подавления (NMS) прямо на кристалле.

Это позволило выполнять постобработку непосредственно на сенсоре, исключая необходимость передачи больших объемов данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony преодолела то, что Амир назвал «стеклянным потолком постобработки», достигнув значительно более высокой производительности и уменьшения задержек.

Рис. 5. Преодоление узкого места постобработки. Источник изображения: SONY Semicon | AITRIOS

Затем мы рассмотрим, как эта инновация помогла моделям YOLO, особенно Ultralytics YOLOv8 Nano, работать эффективнее на периферийных устройствах, открывая новые возможности для обработки ИИ в реальном времени на более компактном железе с ограниченными ресурсами.

Модели Ultralytics YOLOv8 ускоряются в 4 раза благодаря сенсору Sony IMX500#

Завершая выступление на мажорной ноте, Амир продемонстрировал, как им удалось вчетверо повысить производительность модели Ultralytics YOLOv8 Nano за счет выполнения NMS на периферии. Он показал это на Raspberry Pi 5, интегрированном с AI-сенсором IMX500. Амир сравнил производительность, когда постобработка выполнялась на хост-устройстве и на чипе IMX500.

Результаты наглядно показали значительное улучшение показателей кадров в секунду (FPS) и общей эффективности при выполнении обработки на чипе. Такая оптимизация сделала обнаружение объектов быстрее и плавнее, а также продемонстрировала практичность обработки ИИ в реальном времени на более компактных устройствах с ограниченными ресурсами, таких как Raspberry Pi.

Основные выводы#

Сенсор Sony IMX500, платформа AITRIOS и модели Ultralytics YOLO меняют развитие edge AI. Обработка ИИ на чипе сокращает передачу данных и задержки, одновременно повышая конфиденциальность, безопасность и эффективность. Сосредоточившись на всей системе, а не только на модели ИИ, эти инновации делают edge AI более доступным для разработчиков и тех, кто не обладает глубокими знаниями в области ИИ. По мере дальнейшего развития технологий edge AI, они, вероятно, обеспечат появление более умных устройств, ускорение принятия решений и усиление защиты конфиденциальности в широком спектре отраслей и приложений.

Оставайся на связи с нашим сообществом, чтобы продолжать изучать ИИ! Загляни в наш репозиторий GitHub, чтобы узнать, как мы можем использовать ИИ для создания инновационных решений в различных отраслях, таких как сельское хозяйство и промышленность. 🚀