Расширение возможностей Edge AI с помощью Sony IMX500 и AITRIOS

Edge AI позволяет моделям искусственного интеллекта (ИИ) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Его главное преимущество заключается в поддержке быстрого принятия решений в реальном времени без опоры на облако. Исследования показывают, что использование ИИ на периферийных платформах может повысить операционную эффективность до 40%.

Недавние достижения в области edge AI, особенно в компьютерном зрении, стали центральной темой на YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии от Ultralytics, которое объединяет энтузиастов и экспертов ИИ для изучения последних разработок в области Vision AI. Одним из главных моментов стало основное выступление Sony, где они продемонстрировали свое новое передовое оборудование для ИИ и программные решения. Были представлены сенсор IMX500 и платформа AITRIOS, и Sony показала, как эти инновации упрощают и повышают эффективность развертывания моделей Ultralytics YOLO, таких как Ultralytics YOLO11 и Ultralytics YOLOv8, на периферии.

Сессию вели Вэй Тан, менеджер по развитию бизнеса, специализирующаяся на решениях Sony в области визуализации, и Амир Серви, менеджер по продуктам Edge Deep Learning, обладающий опытом в развертывании моделей глубокого обучения на периферийных устройствах.

В этой статье мы вернемся к выступлению Sony на YV24 и разберемся, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки ИИ в реальном времени на самом устройстве. Давай начнем!

Link to this sectionВидение Sony: демократизация ИИ на периферийных устройствах#

Вэй Тан открыла сессию, рассказав о цели Sony сделать edge AI таким же доступным, каким они сделали фотографию много лет назад. Она подчеркнула, что сейчас Sony сосредоточена на том, чтобы сделать передовой Vision AI доступным для большего числа людей с помощью периферийных вычислений. Одним из движущих факторов является положительное влияние edge AI на окружающую среду. Обрабатывая данные непосредственно на устройствах, а не полагаясь на огромные дата-центры, периферийные вычисления помогают сократить энергопотребление и уменьшить углеродный след. Это более умный и экологичный подход, который идеально вписывается в стремление Sony создавать технологии, которые не только работают лучше, но и способствуют построению более устойчивого будущего.

Вэй объяснила, как Sony Semiconductor Solutions, подразделение Sony, специализирующееся на технологиях визуализации и сенсоров, создает передовые датчики изображения. Эти сенсоры используются в самых разных устройствах, преобразуя свет в электронные сигналы для захвата изображений. С более чем 1,2 миллиарда сенсоров, поставляемых каждый год, они встречаются почти в половине всех мобильных телефонов в мире, что делает Sony крупным игроком в индустрии визуализации.

Рис. 1. Примеры датчиков изображения Sony.

Опираясь на этот опыт, Sony делает следующий шаг, превращая эти сенсоры из устройств для захвата изображений в интеллектуальные инструменты, способные обрабатывать данные в режиме реального времени, что позволяет получать ИИ-аналитику прямо на устройстве. Прежде чем мы обсудим аппаратные и программные решения Sony для поддержки этого сдвига, давай разберемся с проблемами edge AI, которые эти инновации призваны решить.

Link to this sectionПроблемы, связанные с обработкой изображений ИИ на периферийных устройствах#

Разработка решений для edge AI сопряжена с рядом ключевых проблем, особенно при работе с такими устройствами, как камеры и датчики. Многие из них обладают ограниченной мощностью и производительностью, что затрудняет эффективный запуск продвинутых моделей ИИ.

Вот некоторые из других основных ограничений:

• Сложность программного обеспечения: Адаптация моделей ИИ для работы на различных периферийных устройствах с разными аппаратными конфигурациями может быть сложной задачей и требовать настроек и оптимизаций.
• Узкие места постобработки: Часто возникает задержка при передаче больших объемов данных с устройства на хост для постобработки. Это часто занимает больше времени, чем само вывод модели ИИ.
• Взрыв данных: Поскольку многие IoT-устройства постоянно генерируют данные, объем информации, которую необходимо обрабатывать локально, может быть огромным, что еще больше нагружает периферийные устройства.

Link to this sectionЗнакомство с интеллектуальным сенсором зрения Sony IMX500#

Интеллектуальный сенсор зрения Sony IMX500 — это революционное оборудование в области обработки edge AI. Это первый в мире интеллектуальный сенсор с возможностями ИИ на кристалле. Этот датчик помогает преодолеть множество проблем edge AI, включая узкие места обработки данных, проблемы конфиденциальности и ограничения производительности.

В то время как другие сенсоры просто передают изображения и кадры, IMX500 делает больше. Он обрабатывает данные непосредственно на сенсоре, позволяя устройствам генерировать аналитику в реальном времени. Во время сессии Вэй Тан сказала: "Используя нашу передовую технологию датчиков изображения, мы стремимся расширить возможности нового поколения приложений, способных улучшить повседневную жизнь". IMX500 создан для достижения этой цели, изменяя способы обработки данных устройствами непосредственно на сенсоре без необходимости отправки их в облако.

Вот некоторые из его ключевых особенностей:

• Вывод метаданных: Вместо передачи полных изображений он выводит метаданные, что значительно сокращает размер данных, снижая потребление полосы пропускания и затраты.
• Повышенная конфиденциальность: Обрабатывая данные на устройстве, IMX500 улучшает конфиденциальность, особенно в ситуациях, когда затрагивается конфиденциальная информация, например, при решении таких задач компьютерного зрения, как подсчет людей.
• Обработка в реальном времени: Способность сенсора быстро обрабатывать данные означает, что он поддерживает быстрое принятие решений в реальном времени, что делает возможными такие edge AI приложения, как автономные системы.

IMX500 — это не просто камера-сенсор, это мощный инструмент восприятия, который меняет то, как устройства видят мир и взаимодействуют с ним. Встраивая ИИ прямо в сенсор, Sony делает периферийный ИИ более доступным для таких отраслей, как автомобилестроение, здравоохранение и умные города. В следующих разделах мы подробнее разберем, как IMX500 работает с моделями Ultralytics YOLO для улучшения обнаружения объектов и обработки данных на периферийных устройствах.

Рис. 2. Вэй Тан на сцене YOLO Vision 2024 представляет интеллектуальный сенсор зрения Sony IMX500.

Link to this sectionПлатформа Sony AITRIOS: упрощение edge AI#

Представив сенсор IMX500, Вэй Тан отметила, что хотя оборудование критически важно, его недостаточно для решения всех проблем, связанных с развертыванием edge AI. Она рассказала, что интеграция ИИ на такие устройства, как камеры и сенсоры, требует не только продвинутого железа, но и умного программного обеспечения для управления им. Здесь на помощь приходит платформа Sony AITRIOS, предлагающая надежное программное решение, призванное сделать развертывание ИИ на периферийных устройствах более простым и эффективным.

AITRIOS выступает связующим звеном между сложными моделями ИИ и ограничениями периферийных устройств. Она предоставляет разработчикам ряд инструментов для быстрого развертывания предобученных моделей ИИ. Но что еще важнее, она поддерживает непрерывное дообучение, чтобы модели ИИ могли адаптироваться к изменениям в реальном мире.

Вэй также подчеркнула, как AITRIOS упрощает процесс для тех, у кого нет глубокой экспертизы в ИИ, предлагая гибкость для адаптации моделей под конкретные задачи edge AI. Она также решает общие проблемы, такие как ограничения памяти и падение производительности, упрощая интеграцию ИИ в небольшие устройства без ущерба для точности или скорости.

Рис. 3. Примеры вариантов использования edge AI. Источник изображения: SONY Semicon | AITRIOS.

Link to this sectionОптимизация моделей YOLO на IMX500#

Во второй части выступления микрофон перешел к Амиру, который углубился в технические аспекты того, как Sony оптимизировала модели YOLO для сенсора IMX500.

Амир начал со слов: «Модели YOLO отлично подходят для периферии, и их довольно легко оптимизировать благодаря Гленну и его команде. Не волнуйся, я тебя в этом убежу». Затем Амир объяснил, что, хотя основное внимание часто уделяется оптимизации самой модели ИИ, такой подход часто упускает из виду критическую проблему: узкие места постобработки.

Амир отметил, что во многих случаях после того, как модель ИИ завершает свою задачу, процесс передачи данных и постобработки на хост-устройстве может вызывать существенные задержки. Этот обмен данными между устройством и хостом вносит задержку, которая может стать главным препятствием на пути к достижению наилучшей производительности.

Рис. 4. Амир Серви на сцене YOLO Vision 2024 объясняет суть узких мест постобработки.

Чтобы решить эту проблему, Амир подчеркнул важность рассмотрения всей системы в целом, а не только модели ИИ. С сенсором IMX500 они обнаружили, что именно постобработка была главным «бутылочным горлышком». Он поделился, что настоящим прорывом стала реализация немаксимального подавления (NMS) прямо на кристалле.

Это позволило выполнять постобработку непосредственно на сенсоре, исключая необходимость передачи больших объемов данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony преодолела то, что Амир назвал «стеклянным потолком постобработки», достигнув значительно более высокой производительности и уменьшения задержек.

Рис. 5. Преодоление узкого места постобработки. Источник изображения: SONY Semicon | AITRIOS

Далее мы рассмотрим, как эта инновация помогла моделям YOLO, особенно YOLOv8 Nano, работать эффективнее на периферийных устройствах, открывая новые возможности для обработки ИИ в реальном времени на небольшом аппаратном обеспечении с ограниченными ресурсами.

Link to this sectionМодели YOLOv8 получают 4-кратный прирост скорости с Sony IMX500#

Завершая выступление на высокой ноте, Амир продемонстрировал, как им удалось увеличить производительность модели YOLOv8 Nano в четыре раза, выполнив NMS на периферии. Он показал это на Raspberry Pi 5, интегрированном с ИИ-сенсором IMX500. Амир сравнил производительность, когда постобработка выполнялась на хосте, с вариантом на чипе IMX500.

Результаты наглядно показали значительное улучшение количества кадров в секунду (FPS) и общей эффективности, когда обработка выполнялась на кристалле. Оптимизация сделала обнаружение объектов быстрее и плавнее, а также доказала практичность использования ИИ в реальном времени на компактных устройствах с ограниченными ресурсами, таких как Raspberry Pi.

Link to this sectionОсновные выводы#

Сенсор Sony IMX500, платформа AITRIOS и модели Ultralytics YOLO меняют развитие edge AI. Обработка ИИ на чипе сокращает передачу данных и задержки, одновременно повышая конфиденциальность, безопасность и эффективность. Сосредоточившись на всей системе, а не только на модели ИИ, эти инновации делают edge AI более доступным для разработчиков и тех, кто не обладает глубокими знаниями в области ИИ. По мере дальнейшего развития технологий edge AI, они, вероятно, обеспечат появление более умных устройств, ускорение принятия решений и усиление защиты конфиденциальности в широком спектре отраслей и приложений.

Будь на связи с нашим сообществом, чтобы продолжать узнавать об ИИ! Загляни в наш репозиторий на GitHub, чтобы узнать, как использовать ИИ для создания инновационных решений в различных отраслях, таких как сельское хозяйство и производство. 🚀