25 октября 2024 г.
Присоединяйтесь к нам, чтобы рассказать о прорыве Sony в области обработки данных с помощью искусственного интеллекта на сенсоре IMX500 и платформе AITRIOS, что поможет оптимизировать модели Ultralytics YOLO.
Edge AI позволяет моделям искусственного интеллекта (ИИ) работать непосредственно на таких устройствах, как смартфоны, камеры и беспилотники. Его ключевым преимуществом является поддержка более быстрого принятия решений в режиме реального времени без опоры на облако. Исследования показывают, что использование ИИ на граничных платформах может повысить эффективность работы на 40 %.
Последние достижения в области искусственного интеллекта, особенно в области компьютерного зрения, стали главной темой YOLO Vision 2024 (YV24), ежегодного гибридного мероприятия Ultralytics, на котором собираются энтузиасты и эксперты в области искусственного интеллекта для изучения последних достижений в области ИИ. Одним из главных событий мероприятия стала презентация Sony, на которой были показаны новые передовые аппаратные и программные решения в области ИИ. Были представлены сенсор IMX500 и платформа AITRIOS. Sony продемонстрировала, как эти инновации упрощают и повышают эффективность развертывания моделей Ultralytics YOLO, таких как Ultralytics YOLO11 и Ultralytics YOLOv8, на грани.
Сессию вели Вэй Танг, менеджер по развитию бизнеса, специализирующийся на решениях Sony для обработки изображений, и Амир Серви, менеджер по продуктам Edge Deep Learning, обладающий опытом внедрения моделей глубокого обучения на устройствах с граничными возможностями.
В этой статье мы вновь обратимся к выступлению Sony на YV24 и рассмотрим, как сенсор IMX500 и платформа AITRIOS оптимизируют использование моделей YOLO для более быстрой обработки ИИ в реальном времени. Давайте начнем!
Вей Танг открыла сессию, рассказав о цели Sony - сделать краевой ИИ таким же доступным, как это было сделано с фотографией много лет назад. Она подчеркнула, что сейчас Sony сосредоточена на том, чтобы сделать передовой ИИ Vision AI доступным для большего числа людей с помощью краевых вычислений. Одним из движущих факторов этого является положительное влияние краевого ИИ на окружающую среду. Благодаря обработке данных непосредственно на устройствах, а не в массивных центрах обработки данных, краевые вычисления помогают сократить потребление энергии и уменьшить выбросы углекислого газа. Это более разумный и экологичный подход, который идеально вписывается в стремление Sony создавать технологии, которые не только работают лучше, но и помогают создать более устойчивое будущее.
Далее Вэй рассказал, как Sony Semiconductor Solutions, подразделение Sony, специализирующееся на технологиях обработки изображений и сенсоров, создает передовые датчики изображения. Эти датчики используются в различных устройствах, преобразуя свет в электронные сигналы для получения изображений. Ежегодно поставляется более 1,2 миллиарда датчиков, они используются почти в половине мобильных телефонов в мире, что делает Sony одним из крупнейших игроков в индустрии обработки изображений.
Опираясь на этот опыт, компания Sony пошла дальше, превратив эти датчики из устройств для захвата изображений в интеллектуальные инструменты, способные обрабатывать данные в режиме реального времени, позволяя получать информацию на основе искусственного интеллекта прямо на устройствах. Прежде чем мы обсудим аппаратные и программные решения, которые Sony использует для поддержки этого перехода, давайте разберемся, какие краевые задачи ИИ призваны решить эти инновации.
Разработка передовых ИИ-решений сопряжена с рядом ключевых проблем, особенно при работе с такими устройствами, как камеры и датчики. Многие из этих устройств имеют ограниченную мощность и вычислительные возможности, что затрудняет эффективную работу продвинутых моделей ИИ.
Вот некоторые другие основные ограничения:
Датчик Sony IMX500 Intelligent Vision Sensor - это переломное оборудование в области обработки данных искусственного интеллекта. Это первый в мире интеллектуальный датчик зрения с возможностями искусственного интеллекта на кристалле. Этот датчик помогает преодолеть многие проблемы в области краевого ИИ, включая узкие места в обработке данных, проблемы конфиденциальности и ограничения производительности.
В то время как другие датчики просто передают изображения и кадры, IMX500 рассказывает целую историю. Он обрабатывает данные непосредственно на датчике, позволяя устройствам генерировать информацию в режиме реального времени. Во время сессии Вэй Танг сказал: "Используя нашу передовую технологию датчиков изображения, мы стремимся создать новое поколение приложений, которые улучшат повседневную жизнь". IMX500 предназначен для достижения этой цели, изменяя то, как устройства обрабатывают данные непосредственно на датчике, без необходимости отправлять их в облако для обработки.
Вот некоторые из его ключевых особенностей:
IMX500 - это не просто датчик камеры, это мощный сенсорный инструмент, который преобразует восприятие и взаимодействие устройств с окружающим миром. Встраивая ИИ непосредственно в сенсор, Sony делает краевой ИИ более доступным для таких отраслей, как автомобилестроение, здравоохранение и "умные города". В последующих разделах мы подробнее рассмотрим, как IMX500 работает с моделями Ultralytics YOLO для улучшения обнаружения объектов и обработки данных на краевых устройствах.
Представив сенсор IMX500, Вэй Танг отметила, что, хотя аппаратное обеспечение имеет решающее значение, его одного недостаточно для решения всего спектра задач, связанных с внедрением ИИ на границах. Она рассказала о том, что для интеграции ИИ в такие устройства, как камеры и датчики, требуется не только передовое оборудование, но и интеллектуальное программное обеспечение для управления им. Именно здесь на помощь приходит платформа AITRIOS от Sony, предлагающая надежное программное решение, призванное упростить и сделать более эффективным развертывание ИИ на периферийных устройствах.
AITRIOS служит связующим звеном между сложными моделями искусственного интеллекта и ограничениями граничных устройств. Он предоставляет разработчикам ряд инструментов для быстрого развертывания предварительно обученных моделей ИИ. Но что еще более важно, он поддерживает непрерывное переобучение, чтобы модели ИИ могли адаптироваться к изменениям в реальном мире.
Вэй также рассказал о том, как AITRIOS упрощает процесс для тех, кто не обладает глубокими знаниями в области ИИ, предлагая гибкость в настройке моделей ИИ для конкретных случаев использования краевого ИИ. Он также решает такие распространенные проблемы, как нехватка памяти и падение производительности, облегчая интеграцию ИИ в небольшие устройства без ущерба для точности и скорости.
Во второй части выступления микрофон был передан Амиру, который погрузился в техническую сторону того, как Sony оптимизировала модели YOLO на сенсоре IMX500.
Амир начал со слов: "Благодаря Гленну и его команде модели YOLO позволяют работать на грани и довольно легко оптимизируются. Я убежу вас в этом, не волнуйтесь". Затем Амир объяснил, что, хотя много внимания обычно уделяется оптимизации самой модели ИИ, такой подход часто упускает из виду важнейшую проблему: узкие места в постобработке.
Амир отметил, что во многих случаях, когда модель искусственного интеллекта выполняет свою задачу, процесс передачи данных и постобработки на хост-устройстве может вызвать значительные задержки. Передача данных между устройством и хостом приводит к задержкам, которые могут стать серьезным препятствием для достижения наилучшей производительности.
Чтобы решить эту проблему, Амир подчеркнул, что важно рассматривать всю систему в целом, а не только фокусироваться на модели искусственного интеллекта. В случае с сенсором IMX500 они обнаружили, что постобработка является основным узким местом, замедляющим работу. Он поделился, что настоящим прорывом стало разблокирование не максимального подавления (NMS) на кристалле.
Она позволяет выполнять постобработку непосредственно на сенсоре, избавляя от необходимости передавать большие объемы данных на хост-устройство. Запустив NMS непосредственно на IMX500, Sony преодолела то, что Амир назвал "стеклянным потолком постобработки", добившись гораздо более высокой производительности и снижения задержек.
Далее мы рассмотрим, как эта инновация помогла моделям YOLO, особенно YOLOv8 Nano, более эффективно работать на граничных устройствах, создавая новые возможности для обработки ИИ в реальном времени на небольших аппаратных средствах с ограниченными ресурсами.
Завершая выступление на высокой ноте, Амир продемонстрировал, как они смогли увеличить производительность модели YOLOv8 Nano в четыре раза, запустив NMS на грани. Он продемонстрировал это на Raspberry Pi 5, в который был интегрирован датчик IMX500 AI. Амир сравнил производительность при постобработке на хост-устройстве и на чипе IMX500.
Результаты наглядно продемонстрировали значительное повышение частоты кадров в секунду (FPS) и общей эффективности, когда обработка выполнялась на кристалле. Оптимизация сделала обнаружение объектов более быстрым и плавным, а также продемонстрировала практичность обработки ИИ в реальном времени на небольших устройствах с ограниченными ресурсами, таких как Raspberry Pi.
Сенсор IMX500 компании Sony, платформа AITRIOS и модели Ultralytics YOLO меняют представление о разработке искусственного интеллекта на периферии. Обработка ИИ на кристалле позволяет сократить время передачи данных и задержки, повышая конфиденциальность, безопасность и эффективность. Сосредоточившись на всей системе, а не только на модели ИИ, эти инновации делают краевой ИИ более доступным для разработчиков и тех, кто не обладает глубокими знаниями в области ИИ. По мере дальнейшего развития технологий краевого ИИ они, вероятно, позволят создавать более умные устройства, ускорять процесс принятия решений и повышать уровень защиты конфиденциальности в самых разных отраслях и сферах применения.
Оставайтесь с нашим сообществом и продолжайте узнавать об искусственном интеллекте! Загляните в наш репозиторий GitHub, чтобы узнать, как мы можем использовать ИИ для создания инновационных решений в различных отраслях, таких как сельское хозяйство и производство. 🚀
.webp)
