25 октября 2024 г.
Присоединяйтесь к нам, чтобы рассказать о прорыве Sony в области обработки данных с помощью искусственного интеллекта на сенсоре IMX500 и платформе AITRIOS, что поможет оптимизировать модели Ultralytics YOLO .
Edge AI позволяет моделям искусственного интеллекта (AI) работать непосредственно на таких устройствах, как смартфоны, камеры и дроны. Его ключевое преимущество заключается в том, что он поддерживает более быстрое принятие решений в реальном времени без использования облака. Фактически, исследования показывают, что использование AI на периферийных платформах может повысить операционную эффективность до 40%.
Последние достижения в области искусственного интеллекта, особенно в области компьютерного зрения, стали главной темой YOLO Vision 2024 (YV24), ежегодного гибридного мероприятия Ultralytics, на котором собираются энтузиасты и эксперты в области искусственного интеллекта, чтобы изучить последние достижения в области ИИ. Одним из главных событий мероприятия стала презентация Sony, на которой были показаны новые передовые аппаратные и программные решения в области ИИ. Были представлены сенсор IMX500 и платформа AITRIOS. Sony продемонстрировала, как эти инновации упрощают и повышают эффективность развертывания моделейUltralytics YOLO , таких как Ultralytics YOLO11 и Ultralytics YOLOv8 на краю.
Сессию вели Вэй Тан, менеджер по развитию бизнеса, специализирующийся на решениях для обработки изображений Sony, и Амир Серви, менеджер по продуктам Edge Deep Learning, обладающий опытом в развертывании моделей глубокого обучения на периферийных устройствах.
В этой статье мы вновь обратимся к выступлению Sony на YV24 и рассмотрим, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки ИИ в реальном времени. Давайте начнем!
Вэй Тан открыла сессию, рассказав о цели Sony сделать edge AI таким же доступным, как и фотографию много лет назад. Она подчеркнула, что сейчас Sony сосредоточена на том, чтобы донести передовой Vision AI до большего числа людей с помощью edge computing. Одним из движущих факторов этого является положительное влияние, которое edge AI может оказать на окружающую среду. Обрабатывая данные непосредственно на устройствах, вместо того чтобы полагаться на массивные центры обработки данных, edge computing помогает сократить потребление энергии и уменьшить выбросы углекислого газа. Это более разумный, экологичный подход, который идеально соответствует стремлению Sony создавать технологии, которые не только работают лучше, но и помогают создать более устойчивое будущее.
Вэй продолжила объяснять, как Sony Semiconductor Solutions, подразделение Sony, которое специализируется на технологиях обработки изображений и сенсорах, создает передовые датчики изображений. Эти датчики используются в различных устройствах, преобразуя свет в электронные сигналы для захвата изображений. Ежегодно отгружается более 1,2 миллиарда датчиков, и они встречаются почти в половине мобильных телефонах мира, что делает Sony крупным игроком в индустрии обработки изображений.
Опираясь на этот опыт, Sony сейчас идет дальше, превращая эти датчики из устройств захвата изображений в интеллектуальные инструменты, которые могут обрабатывать данные в режиме реального времени, обеспечивая аналитику на основе ИИ непосредственно на устройствах. Прежде чем мы обсудим аппаратные и программные решения, которые Sony использует для поддержки этого сдвига, давайте разберемся с проблемами Edge AI, которые эти инновации призваны решить.
Разработка периферийных AI решений сопряжена с рядом ключевых проблем, особенно при работе с такими устройствами, как камеры и датчики. Многие из этих устройств имеют ограниченную мощность и вычислительные возможности, что затрудняет эффективный запуск передовых моделей ИИ.
Вот некоторые другие основные ограничения:
Интеллектуальный датчик изображения Sony IMX500 — это революционное аппаратное обеспечение для обработки Edge AI. Это первый в мире интеллектуальный датчик изображения с возможностями AI на чипе. Этот датчик помогает преодолеть многие проблемы в Edge AI, включая узкие места в обработке данных, проблемы конфиденциальности и ограничения производительности.
В то время как другие датчики просто передают изображения и кадры, IMX500 рассказывает целую историю. Он обрабатывает данные непосредственно на датчике, позволяя устройствам генерировать аналитические данные в режиме реального времени. Во время сессии Вэй Тан сказал: "Используя нашу передовую технологию датчиков изображения, мы стремимся расширить возможности нового поколения приложений, которые могут улучшить повседневную жизнь". IMX500 разработан для достижения этой цели, преобразуя способ обработки данных устройствами непосредственно на датчике, без необходимости отправлять их в облако для обработки.
Вот некоторые из его ключевых особенностей:
IMX500 - это не просто датчик камеры, это мощный сенсорный инструмент, который преобразует восприятие и взаимодействие устройств с окружающим миром. Встраивая ИИ непосредственно в сенсор, Sony делает краевой ИИ более доступным для таких отраслей, как автомобилестроение, здравоохранение и "умные города". В последующих разделах мы подробнее рассмотрим, как IMX500 работает с моделями Ultralytics YOLO для улучшения обнаружения объектов и обработки данных на краевых устройствах.
После представления датчика IMX500 Вэй Тан отметила, что, хотя аппаратное обеспечение имеет решающее значение, его недостаточно для решения всего спектра задач, связанных с развертыванием AI на периферии. Она рассказала о том, что интеграция AI на такие устройства, как камеры и датчики, требует не только передового оборудования, но и интеллектуального программного обеспечения для управления им. Именно здесь на помощь приходит платформа AITRIOS от Sony, предлагающая надежное программное решение, разработанное для упрощения и повышения эффективности развертывания AI на периферийных устройствах.
AITRIOS действует как мост между сложными моделями ИИ и ограничениями периферийных устройств. Он предоставляет разработчикам ряд инструментов для быстрой развертки предварительно обученных моделей ИИ. Но, что более важно, он поддерживает непрерывное переобучение, чтобы модели ИИ могли адаптироваться к изменениям в реальном мире.
Вэй также подчеркнула, как AITRIOS упрощает процесс для тех, у кого нет глубоких знаний в области ИИ, предлагая гибкость в настройке моделей ИИ для конкретных вариантов использования edge AI. Он также решает общие проблемы, такие как ограничения памяти и падение производительности, что упрощает интеграцию ИИ в небольшие устройства без ущерба для точности или скорости.
Во второй части выступления микрофон был передан Амиру, который погрузился в техническую сторону того, как Sony оптимизировала моделиYOLO на сенсоре IMX500.
Амир начал со слов: "Благодаря Гленну и его команде моделиYOLO позволяют работать на грани и довольно легко оптимизируются. Я убежу вас в этом, не волнуйтесь". Затем Амир объяснил, что, хотя много внимания обычно уделяется оптимизации самой модели ИИ, такой подход часто упускает из виду важнейшую проблему: узкие места в постобработке.
Амир отметил, что во многих случаях, после того как модель ИИ завершает свою задачу, процесс передачи данных и постобработки на хост-устройстве может вызвать значительные задержки. Эта передача данных туда и обратно между устройством и хостом вносит задержку, которая может стать серьезным препятствием для достижения наилучшей производительности.
Чтобы решить эту проблему, Амир подчеркнул, что важно рассматривать всю систему в целом, а не только фокусироваться на модели искусственного интеллекта. В случае с сенсором IMX500 они обнаружили, что постобработка является основным узким местом, замедляющим работу. Он поделился, что настоящим прорывом стало разблокирование не максимального подавления (NMS) на кристалле.
Она позволяет выполнять постобработку непосредственно на сенсоре, избавляя от необходимости передавать большие объемы данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony преодолела то, что Амир назвал "стеклянным потолком постобработки", добившись гораздо более высокой производительности и снижения задержек.
Далее мы рассмотрим, как эта инновация помогла моделям YOLO , особенно YOLOv8 Nano, более эффективно работать на граничных устройствах, создавая новые возможности для обработки ИИ в реальном времени на небольших аппаратных средствах с ограниченными ресурсами.
Завершая выступление на высокой ноте, Амир продемонстрировал, как они смогли увеличить производительность модели YOLOv8 Nano в четыре раза, запустив NMS на грани. Он продемонстрировал это на Raspberry Pi 5, в который был интегрирован датчик IMX500 AI. Амир сравнил производительность при постобработке на хост-устройстве и на чипе IMX500.
Результаты ясно показали значительное улучшение количества кадров в секунду (FPS) и общей эффективности, когда обработка выполнялась на чипе. Оптимизация сделала обнаружение объектов быстрее и плавнее, а также продемонстрировала практичность обработки AI в реальном времени на небольших устройствах с ограниченными ресурсами, таких как Raspberry Pi.
Сенсор Sony IMX500, платформа AITRIOS и модели Ultralytics YOLO меняют направление развития краевого ИИ. Обработка ИИ на кристалле позволяет сократить время передачи данных и задержки, повышая конфиденциальность, безопасность и эффективность. Сосредоточившись на всей системе, а не только на модели ИИ, эти инновации делают краевой ИИ более доступным для разработчиков и тех, кто не обладает глубокими знаниями в области ИИ. По мере дальнейшего развития технологий краевого ИИ они, вероятно, позволят создавать более умные устройства, ускорять процесс принятия решений и повышать уровень защиты конфиденциальности в самых разных отраслях и сферах применения.
Оставайтесь на связи с нашим сообществом, чтобы продолжать узнавать об ИИ! Посетите наш репозиторий GitHub, чтобы узнать, как мы можем использовать ИИ для создания инновационных решений в различных отраслях, таких как сельское хозяйство и производство. 🚀
