Развитие Edge AI с Sony IMX500 и AITRIOS

Периферийный ИИ позволяет моделям искусственного интеллекта (ИИ) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Главное преимущество этой технологии — более быстрое принятие решений в реальном времени без зависимости от облака. Исследования показывают, что использование ИИ на периферийных устройствах может повысить операционную эффективность до 40%.

Последние достижения в области периферийного ИИ, особенно в сфере компьютерного зрения, сделали его одной из главных тем YOLO Vision 2024 (YV24) — ежегодного гибридного мероприятия Ultralytics, которое объединяет энтузиастов и экспертов в области ИИ для обсуждения новейших достижений в компьютерном зрении на базе ИИ. Одним из ярких событий стала программная презентация Sony, на которой компания представила новые аппаратные и программные решения с ИИ. Участникам показали сенсор IMX500 и платформу AITRIOS, а также продемонстрировали, как эти инновации упрощают и ускоряют развёртывание моделей Ultralytics YOLO, таких как Ultralytics YOLO11 и Ultralytics YOLOv8, на периферийных устройствах.

Сессию провели Вэй Тан, менеджер по развитию бизнеса, специализирующаяся на решениях Sony для обработки изображений, и Амир Серви, менеджер по продукту в области глубокого обучения на периферийных устройствах, эксперт по развёртыванию моделей глубокого обучения на периферийных устройствах.

В этой статье мы вернёмся к выступлению Sony на YV24 и расскажем, как сенсор IMX500 и платформа AITRIOS оптимизируют работу моделей YOLO, обеспечивая более быструю обработку ИИ в реальном времени на периферийных устройствах.

Видение Sony: демократизация периферийного ИИ#

Вэй Тан начала сессию с рассказа о цели Sony — сделать периферийный ИИ таким же доступным, каким фотография стала много лет назад. Она подчеркнула, что теперь Sony стремится сделать передовые технологии компьютерного зрения на базе ИИ доступными большему числу людей с помощью периферийных вычислений. Один из факторов, определяющих это направление, — положительное влияние периферийного ИИ на окружающую среду. Обрабатывая данные непосредственно на устройствах, а не в огромных центрах обработки данных, периферийные вычисления помогают сократить энергопотребление и выбросы углерода. Это более разумный и экологичный подход, соответствующий стремлению Sony создавать технологии, которые не только работают лучше, но и помогают обеспечить более устойчивое будущее.

Далее Вэй рассказала, как Sony Semiconductor Solutions — подразделение Sony, специализирующееся на технологиях обработки изображений и сенсорах, — создаёт передовые датчики изображения. Они используются в самых разных устройствах и преобразуют свет в электрические сигналы для получения изображений. Ежегодно компания поставляет более 1,2 млрд датчиков; они установлены почти в половине мобильных телефонов в мире, что делает Sony одним из ведущих игроков в сфере обработки изображений.

Рис. 1. Примеры датчиков изображения Sony.

Опираясь на этот опыт, Sony теперь выводит технологии на новый уровень: превращает датчики из устройств для захвата изображений в интеллектуальные инструменты, способные обрабатывать данные в реальном времени и получать полезные сведения непосредственно на устройствах с помощью ИИ. Прежде чем обсудить аппаратные и программные решения Sony, помогающие в этом переходе, давай разберёмся, какие проблемы периферийного ИИ призваны решать эти инновации.

Проблемы обработки изображений с помощью ИИ на периферийных устройствах#

Разработка решений для периферийного ИИ сопряжена с рядом серьёзных проблем, особенно при работе с такими устройствами, как камеры и датчики. У многих из них ограничены мощность и вычислительные ресурсы, поэтому эффективно запускать продвинутые модели ИИ бывает непросто.

Вот некоторые другие основные ограничения:

• Сложность программного обеспечения: адаптация моделей ИИ для работы на разных периферийных устройствах с различными аппаратными конфигурациями может быть сложной и требовать изменений и оптимизации.
• Узкие места постобработки: Передача больших объемов данных с устройства на хост для постобработки часто вызывает задержки. Постобработка нередко занимает больше времени, чем само выполнение модели.
• Взрывной рост объёма данных: множество устройств IoT постоянно генерируют данные, и огромный объём информации, которую нужно обрабатывать локально, может создавать чрезмерную нагрузку на периферийные устройства.

Знакомство с интеллектуальным датчиком зрения Sony IMX500#

Интеллектуальный датчик изображения Sony IMX500 — важный аппаратный компонент для обработки данных периферийного ИИ. Sony называет его первым в мире интеллектуальным датчиком изображения со встроенными возможностями ИИ. Этот датчик помогает преодолеть многие проблемы периферийного ИИ, в том числе узкие места при обработке данных, вопросы конфиденциальности и ограничения производительности.

В отличие от других датчиков, которые лишь передают изображения и кадры, IMX500 позволяет увидеть общую картину. Он обрабатывает данные непосредственно на датчике, благодаря чему устройства могут получать полезные сведения в реальном времени. Во время сессии Вэй Тан сказала: «Используя наши передовые технологии датчиков изображения, мы стремимся дать возможности новому поколению приложений, способных улучшить повседневную жизнь». IMX500 создан именно для этой цели: он меняет подход к обработке данных на устройствах, выполняя её непосредственно на датчике и избавляя от необходимости отправлять данные в облако.

Вот несколько его ключевых особенностей:

• Вывод метаданных: Вместо передачи целых изображений датчик выдает метаданные. Это значительно уменьшает объем данных, снижая нагрузку на канал связи и расходы.
• Повышенная конфиденциальность: обработка данных непосредственно на устройстве повышает конфиденциальность, особенно при работе с чувствительной информацией, например в задачах компьютерного зрения, связанных с людьми, таких как подсчёт людей.
• Обработка в реальном времени: Благодаря быстрой обработке данных датчик обеспечивает оперативное принятие решений в реальном времени, что позволяет использовать периферийный ИИ в таких приложениях, как автономные системы.

IMX500 — это не просто датчик камеры, а мощный инструмент для восприятия, который меняет то, как устройства воспринимают окружающий мир и взаимодействуют с ним. Встраивая ИИ непосредственно в датчик, Sony делает периферийный ИИ доступнее для таких отраслей, как автомобилестроение, здравоохранение и умные города. В следующих разделах мы подробнее рассмотрим, как IMX500 работает с моделями Ultralytics YOLO, улучшая обнаружение объектов и обработку данных на периферийных устройствах.

Рис. 2. Вэй Тан на сцене YOLO Vision 2024 представляет интеллектуальный датчик зрения Sony IMX500.

Платформа Sony AITRIOS: упрощение периферийного ИИ#

После рассказа о сенсоре IMX500 Вэй Тан отметила: аппаратное обеспечение крайне важно, но само по себе оно не решает весь комплекс проблем, связанных с развёртыванием ИИ на периферийных устройствах. Она рассказала, что для интеграции ИИ в такие устройства, как камеры и датчики, нужны не только передовые аппаратные решения, но и интеллектуальное программное обеспечение для управления ими. Эту задачу решает платформа AITRIOS от Sony — надёжное программное решение, упрощающее и повышающее эффективность развёртывания ИИ на периферийных устройствах.

AITRIOS служит связующим звеном между сложными моделями ИИ и ограниченными возможностями периферийных устройств. Платформа предоставляет разработчикам набор инструментов для быстрого развёртывания предварительно обученных моделей ИИ. Но ещё важнее то, что она поддерживает непрерывное дообучение, позволяя моделям ИИ адаптироваться к изменениям в реальных условиях.

Вэй также подчеркнула, что AITRIOS упрощает работу для тех, у кого нет глубоких знаний в области ИИ, и позволяет адаптировать модели ИИ под конкретные задачи на периферийных устройствах. Платформа также помогает справляться с распространёнными проблемами, такими как ограничения памяти и снижение производительности, упрощая интеграцию ИИ в небольшие устройства без потери точности и скорости.

Рис. 3. Примеры применения периферийного ИИ. Источник изображения: SONY Semicon | AITRIOS.

Оптимизация моделей YOLO на IMX500#

Во второй части выступления микрофон передали Амиру, который подробно рассказал о технических аспектах оптимизации моделей YOLO компанией Sony для сенсора IMX500.

Амир начал со слов: «Модели YOLO отлично подходят для периферийных устройств и довольно легко оптимизируются благодаря Гленну и команде. Я вас в этом убежу, не волнуйтесь». Затем Амир объяснил, что обычно много внимания уделяют оптимизации самой модели ИИ, но такой подход часто упускает из виду важную проблему — узкие места постобработки.

Амир отметил, что во многих случаях после выполнения задачи моделью ИИ передача данных и постобработка на хост-устройстве могут приводить к значительным задержкам. Такая передача данных между устройством и хостом добавляет задержку, которая может стать серьёзным препятствием для достижения максимальной производительности.

Рис. 4. Амир Серви на сцене YOLO Vision 2024 рассказывает об узких местах постобработки.

Чтобы решить эту проблему, Амир подчеркнул, насколько важно рассматривать всю систему целиком, а не сосредоточиваться только на модели ИИ. Работая с сенсором IMX500, команда обнаружила, что именно постобработка была главным узким местом, замедлявшим всю систему. Он рассказал, что настоящий прорыв произошел благодаря реализации подавления немаксимумов (NMS) непосредственно на чипе.

Это позволило выполнять постобработку прямо на сенсоре, избавив от необходимости передавать большие объемы данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony преодолела то, что Амир назвал «стеклянным потолком постобработки», значительно повысив производительность и снизив задержки.

Рис. 5. Устранение узкого места постобработки. Источник изображения: SONY Semicon | AITRIOS

Далее мы рассмотрим, как эта инновация помогла эффективнее запускать модели YOLO, особенно Ultralytics YOLOv8 Nano, на периферийных устройствах и открыла новые возможности для обработки данных ИИ в реальном времени на небольшом оборудовании с ограниченными ресурсами.

Модели Ultralytics YOLOv8 работают в 4 раза быстрее с Sony IMX500#

В завершение выступления Амир продемонстрировал, как им удалось в четыре раза повысить производительность модели Ultralytics YOLOv8 Nano, выполняя NMS на периферийном устройстве. Он показал это на Raspberry Pi 5, подключённом к сенсору ИИ IMX500. Амир сравнил производительность при выполнении постобработки на хост-устройстве и на чипе IMX500.

Результаты наглядно показали значительное повышение частоты кадров (FPS) и общей эффективности при обработке данных непосредственно на чипе. Оптимизация ускорила и сгладила процесс обнаружения объектов, а также продемонстрировала практическую возможность обработки ИИ в реальном времени на небольших устройствах с ограниченными ресурсами, таких как Raspberry Pi.

Главные выводы#

Сенсор IMX500 от Sony, платформа AITRIOS и модели Ultralytics YOLO, объединённые благодаря сотрудничеству Ultralytics и Sony, меняют подход к разработке периферийного ИИ. Обработка ИИ непосредственно на чипе сокращает передачу данных и задержки, одновременно повышая конфиденциальность, безопасность и эффективность. Благодаря комплексному подходу, учитывающему не только модель ИИ, эти инновации делают периферийный ИИ доступнее для разработчиков и людей без глубоких знаний в этой области. По мере развития технологий периферийного ИИ устройства, вероятно, станут умнее, решения будут приниматься быстрее, а защита конфиденциальности укрепится во множестве отраслей и приложений.

Оставайся на связи с нашим сообществом, чтобы продолжать изучать ИИ! Загляни в наш репозиторий GitHub, чтобы узнать, как мы можем применять ИИ для создания инновационных решений в разных отраслях, например в сельском хозяйстве и производстве.