25 октября 2024 г.
Присоединяйтесь к нам, и мы подведем итоги прорывов Sony в области обработки ИИ на периферии с помощью сенсора IMX500 и платформы AITRIOS, чтобы помочь оптимизировать модели Ultralytics YOLO.
Edge AI позволяет моделям искусственного интеллекта (AI) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Его ключевое преимущество заключается в том, что он поддерживает более быстрое принятие решений в реальном времени без использования облака. Фактически, исследования показывают, что использование AI на периферийных платформах может повысить операционную эффективность до 40%.
Последние достижения в области периферийного AI, особенно в компьютерном зрении, сделали его центральной темой на YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии Ultralytics, которое объединяет энтузиастов и экспертов в области AI для изучения последних достижений в Vision AI. Одним из основных моментов мероприятия стала ключевая презентация Sony, где они продемонстрировали свои новые передовые аппаратные средства AI и программные решения. Были представлены датчик IMX500 и платформа AITRIOS, и Sony продемонстрировала, как эти инновации упрощают и повышают эффективность развертывания моделей Ultralytics YOLO, таких как Ultralytics YOLO11 и Ultralytics YOLOv8, на периферии.
Сессию вели Вэй Тан, менеджер по развитию бизнеса, специализирующийся на решениях для обработки изображений Sony, и Амир Серви, менеджер по продуктам Edge Deep Learning, обладающий опытом в развертывании моделей глубокого обучения на периферийных устройствах.
В этой статье мы вернемся к докладу Sony на YV24 и рассмотрим, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки AI в реальном времени на периферии. Давайте начнем!
Вэй Тан открыла сессию, рассказав о цели Sony сделать edge AI таким же доступным, как и фотографию много лет назад. Она подчеркнула, что сейчас Sony сосредоточена на том, чтобы донести передовой Vision AI до большего числа людей с помощью edge computing. Одним из движущих факторов этого является положительное влияние, которое edge AI может оказать на окружающую среду. Обрабатывая данные непосредственно на устройствах, вместо того чтобы полагаться на массивные центры обработки данных, edge computing помогает сократить потребление энергии и уменьшить выбросы углекислого газа. Это более разумный, экологичный подход, который идеально соответствует стремлению Sony создавать технологии, которые не только работают лучше, но и помогают создать более устойчивое будущее.
Вэй продолжила объяснять, как Sony Semiconductor Solutions, подразделение Sony, которое специализируется на технологиях обработки изображений и сенсорах, создает передовые датчики изображений. Эти датчики используются в различных устройствах, преобразуя свет в электронные сигналы для захвата изображений. Ежегодно отгружается более 1,2 миллиарда датчиков, и они встречаются почти в половине мобильных телефонах мира, что делает Sony крупным игроком в индустрии обработки изображений.
Опираясь на этот опыт, Sony сейчас идет дальше, превращая эти датчики из устройств захвата изображений в интеллектуальные инструменты, которые могут обрабатывать данные в режиме реального времени, обеспечивая аналитику на основе ИИ непосредственно на устройствах. Прежде чем мы обсудим аппаратные и программные решения, которые Sony использует для поддержки этого сдвига, давайте разберемся с проблемами Edge AI, которые эти инновации призваны решить.
Разработка периферийных AI решений сопряжена с рядом ключевых проблем, особенно при работе с такими устройствами, как камеры и датчики. Многие из этих устройств имеют ограниченную мощность и вычислительные возможности, что затрудняет эффективный запуск передовых моделей ИИ.
Вот некоторые другие основные ограничения:
Интеллектуальный датчик изображения Sony IMX500 — это революционное аппаратное обеспечение для обработки Edge AI. Это первый в мире интеллектуальный датчик изображения с возможностями AI на чипе. Этот датчик помогает преодолеть многие проблемы в Edge AI, включая узкие места в обработке данных, проблемы конфиденциальности и ограничения производительности.
В то время как другие датчики просто передают изображения и кадры, IMX500 рассказывает целую историю. Он обрабатывает данные непосредственно на датчике, позволяя устройствам генерировать аналитические данные в режиме реального времени. Во время сессии Вэй Тан сказал: "Используя нашу передовую технологию датчиков изображения, мы стремимся расширить возможности нового поколения приложений, которые могут улучшить повседневную жизнь". IMX500 разработан для достижения этой цели, преобразуя способ обработки данных устройствами непосредственно на датчике, без необходимости отправлять их в облако для обработки.
Вот некоторые из его ключевых особенностей:
IMX500 — это не просто датчик камеры, это мощный инструмент зондирования, который меняет то, как устройства воспринимают окружающий мир и взаимодействуют с ним. Встраивая ИИ непосредственно в датчик, Sony делает периферийный ИИ более доступным для таких отраслей, как автомобилестроение, здравоохранение и умные города. В последующих разделах мы углубимся в то, как IMX500 работает с моделями Ultralytics YOLO для улучшения обнаружения объектов и обработки данных на периферийных устройствах.
После представления датчика IMX500 Вэй Тан отметила, что, хотя аппаратное обеспечение имеет решающее значение, его недостаточно для решения всего спектра задач, связанных с развертыванием AI на периферии. Она рассказала о том, что интеграция AI на такие устройства, как камеры и датчики, требует не только передового оборудования, но и интеллектуального программного обеспечения для управления им. Именно здесь на помощь приходит платформа AITRIOS от Sony, предлагающая надежное программное решение, разработанное для упрощения и повышения эффективности развертывания AI на периферийных устройствах.
AITRIOS действует как мост между сложными моделями ИИ и ограничениями периферийных устройств. Он предоставляет разработчикам ряд инструментов для быстрой развертки предварительно обученных моделей ИИ. Но, что более важно, он поддерживает непрерывное переобучение, чтобы модели ИИ могли адаптироваться к изменениям в реальном мире.
Вэй также подчеркнула, как AITRIOS упрощает процесс для тех, у кого нет глубоких знаний в области ИИ, предлагая гибкость в настройке моделей ИИ для конкретных вариантов использования edge AI. Он также решает общие проблемы, такие как ограничения памяти и падение производительности, что упрощает интеграцию ИИ в небольшие устройства без ущерба для точности или скорости.
Во второй части доклада микрофон был передан Амиру, который углубился в техническую сторону того, как Sony оптимизировала модели YOLO на сенсоре IMX500.
Амир начал с того, что сказал: «YOLO-модели поддерживают периферийные вычисления и их довольно легко оптимизировать, благодаря Гленну и команде. Я вас в этом убежу, не волнуйтесь». Затем Амир объяснил, что, хотя большое внимание обычно уделяется оптимизации самой модели ИИ, этот подход часто упускает из виду важную проблему: узкие места постобработки.
Амир отметил, что во многих случаях, после того как модель ИИ завершает свою задачу, процесс передачи данных и постобработки на хост-устройстве может вызвать значительные задержки. Эта передача данных туда и обратно между устройством и хостом вносит задержку, которая может стать серьезным препятствием для достижения наилучшей производительности.
Чтобы решить эту проблему, Амир подчеркнул важность рассмотрения всей сквозной системы, а не только фокусировки на модели ИИ. С помощью датчика IMX500 они обнаружили, что постобработка была основным узким местом, замедляющим все процессы. Он поделился, что настоящим прорывом стало разблокирование немаксимального подавления (NMS) на чипе.
Это позволило выполнять постобработку непосредственно на датчике, устраняя необходимость передачи больших объемов данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony прорвала то, что Амир назвал «стеклянным потолком постобработки», достигнув гораздо лучшей производительности и сокращения задержки.
Далее мы рассмотрим, как эта инновация помогла моделям YOLO, особенно YOLOv8 Nano, более эффективно работать на периферийных устройствах, создавая новые возможности для обработки ИИ в реальном времени на небольшом оборудовании с ограниченными ресурсами.
Завершая доклад на высокой ноте, Амир продемонстрировал, как им удалось увеличить производительность модели YOLOv8 Nano в четыре раза, запустив NMS на периферии. Он продемонстрировал это на Raspberry Pi 5, который был интегрирован с датчиком IMX500 AI. Амир сравнил производительность, когда постобработка выполнялась на хост-устройстве и на чипе IMX500.
Результаты ясно показали значительное улучшение количества кадров в секунду (FPS) и общей эффективности, когда обработка выполнялась на чипе. Оптимизация сделала обнаружение объектов быстрее и плавнее, а также продемонстрировала практичность обработки AI в реальном времени на небольших устройствах с ограниченными ресурсами, таких как Raspberry Pi.
Датчик IMX500 от Sony, платформа AITRIOS и модели Ultralytics YOLO меняют разработку Edge AI. Обработка AI на чипе снижает передачу данных и задержку, одновременно повышая конфиденциальность, безопасность и эффективность. Сосредоточившись на всей системе, а не только на модели AI, эти инновации делают Edge AI более доступным для разработчиков и тех, у кого нет глубоких знаний в области AI. По мере развития технологии Edge AI она, вероятно, позволит создавать более интеллектуальные устройства, ускорит принятие решений и усилит защиту конфиденциальности в широком спектре отраслей и приложений.
Оставайтесь на связи с нашим сообществом, чтобы продолжать узнавать об ИИ! Посетите наш репозиторий GitHub, чтобы узнать, как мы можем использовать ИИ для создания инновационных решений в различных отраслях, таких как сельское хозяйство и производство. 🚀
.webp)