Расширяем возможности периферийного ИИ с помощью Sony IMX500 и AITRIOS

Периферийный ИИ позволяет моделям искусственного интеллекта (AI) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Его главное преимущество заключается в том, что он поддерживает более быстрое принятие решений в реальном времени без зависимости от облака. Исследования показывают, что использование ИИ на периферийных платформах может повысить операционную эффективность до 40%.

Последние достижения в области периферийного ИИ, особенно в сфере компьютерного зрения, сделали эту технологию одной из центральных тем YOLO Vision 2024 (YV24) — ежегодного гибридного мероприятия Ultralytics, которое объединяет энтузиастов и экспертов в области ИИ для изучения последних разработок в Vision AI. Одним из главных событий мероприятия стала презентация Sony, на которой компания представила свои передовые решения в области оборудования и программного обеспечения для ИИ. Были представлены сенсор IMX500 и платформа AITRIOS, а Sony продемонстрировала, как эти инновации упрощают и делают эффективнее развёртывание моделей Ultralytics YOLO, таких как Ultralytics YOLO11 и Ultralytics YOLOv8, на периферийных устройствах.

Сессию провели Wei Tang, менеджер по развитию бизнеса, специализирующаяся на решениях Sony для обработки изображений, и Amir Servi, менеджер по продукту в области глубокого обучения на периферийных устройствах, эксперт по развёртыванию моделей глубокого обучения на периферийных устройствах.

В этой статье мы вернёмся к выступлению Sony на YV24 и рассмотрим, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки ИИ в реальном времени на периферийных устройствах. Начнём!

Видение Sony: демократизация ИИ на периферийных устройствах#

Wei Tang начала с рассказа о цели Sony — сделать периферийный ИИ таким же доступным, каким компания много лет назад сделала фотографию. Она подчеркнула, что теперь Sony стремится предоставить передовые технологии Vision AI большему числу людей с помощью периферийных вычислений. Одним из факторов, определяющих это направление, является положительное влияние периферийного ИИ на окружающую среду. Обрабатывая данные непосредственно на устройствах, а не полагаясь на огромные центры обработки данных, периферийные вычисления помогают сократить энергопотребление и выбросы углерода. Это более разумный и экологичный подход, который идеально соответствует стремлению Sony создавать технологии, не только работающие лучше, но и способствующие более устойчивому будущему.

Вэй продолжил объяснять, как Sony Semiconductor Solutions — подразделение Sony, специализирующееся на технологиях формирования изображений и сенсорных технологиях, — создаёт передовые датчики изображения. Эти датчики используются в самых разных устройствах, преобразуя свет в электронные сигналы для захвата изображений. Ежегодно поставляется более 1,2 миллиарда датчиков shipped, и они устанавливаются почти в половину всех мобильных телефонов в мире, что делает Sony одним из ведущих игроков в отрасли формирования изображений.

Рис. 1. Примеры сенсоров изображения Sony.

Опираясь на этот опыт, Sony развивает свои решения дальше, превращая эти сенсоры из устройств для захвата изображений в интеллектуальные инструменты, способные обрабатывать данные в реальном времени и предоставлять аналитические выводы на основе ИИ непосредственно на устройствах. Прежде чем обсудить аппаратные и программные решения Sony, поддерживающие этот переход, давай разберёмся с проблемами периферийного ИИ, которые призваны решить эти инновации.

Проблемы обработки изображений с помощью ИИ на периферийных устройствах#

Разработка решений для периферийного ИИ сопряжена с рядом ключевых проблем, особенно при работе с такими устройствами, как камеры и сенсоры. Многие из этих устройств обладают ограниченными мощностью и вычислительными ресурсами, из-за чего эффективно запускать продвинутые модели ИИ становится непросто.

Вот ещё несколько основных ограничений:

• Сложность программного обеспечения: адаптация моделей ИИ для работы на различных периферийных устройствах с разными аппаратными конфигурациями может быть сложной и требовать доработок и оптимизаций.
• Узкие места постобработки: при передаче больших объёмов данных с устройства на хост для постобработки часто возникает задержка. Постобработка нередко занимает больше времени, чем фактический инференс модели ИИ.
• Взрывной рост объёма данных: множество устройств IoT постоянно генерируют данные, поэтому объём информации, которую необходимо обрабатывать локально, может оказаться чрезмерным и создать дополнительную нагрузку на периферийные устройства.

Знакомство с интеллектуальным сенсором изображения Sony IMX500#

Интеллектуальный сенсор изображения Sony IMX500 — революционное аппаратное решение для обработки периферийного ИИ. Это первый в мире интеллектуальный сенсор изображения с возможностями ИИ на кристалле. Сенсор помогает преодолеть многие проблемы периферийного ИИ, включая узкие места обработки данных, проблемы конфиденциальности и ограничения производительности.

В то время как другие сенсоры лишь передают изображения и кадры, IMX500 рассказывает целую историю. Он обрабатывает данные непосредственно на сенсоре, позволяя устройствам формировать аналитические выводы в реальном времени. Во время сессии Wei Tang сказала: «Используя наши передовые технологии сенсоров изображения, мы стремимся дать новому поколению приложений возможность улучшить повседневную жизнь». IMX500 разработан для достижения этой цели: он меняет способ обработки данных устройствами непосредственно на сенсоре, без необходимости отправлять их в облако для обработки.

Вот некоторые из его ключевых особенностей:

• Вывод метаданных: вместо отправки изображений целиком сенсор выводит метаданные, значительно уменьшая объём данных, а значит, снижая использование пропускной способности и затраты.
• Повышенная конфиденциальность: обрабатывая данные на устройстве, IMX500 повышает конфиденциальность, особенно в ситуациях, связанных с конфиденциальной информацией, например при выполнении задач компьютерного зрения, связанных с людьми, таких как подсчёт людей.
• Обработка в реальном времени: способность сенсора быстро обрабатывать данные обеспечивает быстрое принятие решений в реальном времени и поддерживает такие приложения периферийного ИИ, как автономные системы.

IMX500 — это не просто сенсор камеры, а мощный инструмент восприятия, который меняет способ, с помощью которого устройства воспринимают окружающий мир и взаимодействуют с ним. Встраивая ИИ непосредственно в сенсор, Sony делает периферийный ИИ более доступным для таких отраслей, как автомобильная промышленность, здравоохранение и умные города. В следующих разделах мы подробнее рассмотрим, как IMX500 работает с моделями Ultralytics YOLO, улучшая обнаружение объектов и обработку данных на периферийных устройствах.

Рис. 2. Wei Tang на сцене YOLO Vision 2024 представляет интеллектуальный сенсор изображения Sony IMX500.

Платформа AITRIOS от Sony: упрощение периферийного ИИ#

После представления сенсора IMX500 Wei Tang отметила, что, хотя аппаратное обеспечение имеет решающее значение, одного его недостаточно для решения всего комплекса проблем, связанных с развёртыванием ИИ на периферийных устройствах. Она рассказала, что интеграция ИИ в такие устройства, как камеры и сенсоры, требует не только передового оборудования, но и интеллектуального программного обеспечения для управления им. Именно здесь на сцену выходит платформа AITRIOS от Sony: это надёжное программное решение, призванное сделать развёртывание ИИ на периферийных устройствах проще и эффективнее.

AITRIOS служит связующим звеном между сложными моделями ИИ и ограничениями периферийных устройств. Платформа предоставляет разработчикам набор инструментов для быстрой загрузки предварительно обученных моделей ИИ. Но ещё важнее то, что она поддерживает непрерывное переобучение, благодаря чему модели ИИ могут адаптироваться к изменениям реального мира.

Wei также подчеркнула, что AITRIOS упрощает процесс для пользователей без глубоких знаний в области ИИ, предоставляя возможность настраивать модели ИИ под конкретные сценарии использования периферийного ИИ. Платформа также решает распространённые проблемы, такие как ограничения памяти и падение производительности, упрощая интеграцию ИИ в небольшие устройства без ущерба для точности или скорости.

Рис. 3. Примеры сценариев использования периферийного ИИ. Источник изображения: SONY Semicon | AITRIOS.

Оптимизация моделей YOLO на IMX500#

Во второй части выступления микрофон передали Amir, который подробно рассмотрел техническую сторону оптимизации моделей YOLO на сенсоре IMX500.

Amir начал со слов: «Модели YOLO делают периферийный ИИ возможным и довольно легко оптимизируются благодаря Glenn и команде. Я вас в этом убежу, не переживайте». Затем Amir объяснил, что, хотя обычно много внимания уделяется оптимизации самой модели ИИ, такой подход часто упускает из виду критически важную проблему: узкие места постобработки.

Amir отметил, что во многих случаях после выполнения моделью ИИ своей задачи процесс передачи данных и выполнения постобработки на хост-устройстве может приводить к значительным задержкам. Такая передача данных между устройством и хостом в обоих направлениях создаёт задержку, которая может стать серьёзным препятствием для достижения наилучшей производительности.

Рис. 4. Amir Servi на сцене YOLO Vision 2024 объясняет узкие места постобработки.

Чтобы решить эту проблему, Amir подчеркнул важность анализа всей системы от начала до конца, а не только самой AI-модели. Работая с датчиком IMX500, они обнаружили, что постобработка была основным узким местом, замедлявшим работу всей системы. Он отметил, что настоящим прорывом стало внедрение подавления немаксимумов на чипе (NMS).

Это позволило выполнять постобработку непосредственно на сенсоре, устранив необходимость передавать большие объёмы данных на хост-устройство. Запуская NMS непосредственно на IMX500, Sony преодолела то, что Amir назвал «стеклянным потолком постобработки», добившись значительно более высокой производительности и меньшей задержки.

Рис. 5. Преодоление узкого места постобработки. Источник изображения: SONY Semicon | AITRIOS

Далее мы рассмотрим, как эта инновация помогла моделям YOLO, особенно Ultralytics YOLOv8 Nano, эффективнее работать на периферийных устройствах, открывая новые возможности для обработки ИИ в реальном времени на небольшом оборудовании с ограниченными ресурсами.

Модели Ultralytics YOLOv8 обеспечивают четырёхкратное ускорение благодаря IMX500 от Sony#

Завершая выступление на высокой ноте, Amir продемонстрировал, как им удалось в четыре раза повысить производительность модели Ultralytics YOLOv8 Nano, запуская NMS на периферийном устройстве. Он показал это на Raspberry Pi 5, интегрированном с сенсором ИИ IMX500. Amir сравнил производительность при выполнении постобработки на хост-устройстве и на чипе IMX500.

Результаты явно показали значительное увеличение количества кадров в секунду (FPS) и общей эффективности при выполнении обработки на кристалле. Оптимизация сделала обнаружение объектов более быстрым и плавным, а также продемонстрировала практичность обработки ИИ в реальном времени на небольших устройствах с ограниченными ресурсами, таких как Raspberry Pi.

Основные выводы#

Сенсор IMX500 от Sony, платформа AITRIOS и модели Ultralytics YOLO меняют подход к разработке периферийного ИИ. Обработка ИИ на кристалле сокращает передачу данных и задержку, одновременно повышая конфиденциальность, безопасность и эффективность. Благодаря фокусу на всей системе, а не только на модели ИИ, эти инновации делают периферийный ИИ более доступным для разработчиков и пользователей без глубоких знаний в области ИИ. По мере дальнейшего развития технологий периферийного ИИ они, вероятно, будут способствовать созданию более интеллектуальных устройств, ускорению принятия решений и усилению защиты конфиденциальности в самых разных отраслях и приложениях.

Оставайся на связи с нашим сообществом, чтобы продолжать узнавать об AI! Загляни в наш репозиторий на GitHub, чтобы узнать, как использовать AI для создания инновационных решений в различных отраслях, таких как сельское хозяйство и производство. 🚀