Axelera AI обеспечивает 34 FPS для edge AI-инференса с использованием Ultralytics YOLO

Axelera AI — европейская полупроводниковая компания, создающая мощные и энергоэффективные AI-чипы для запуска компьютерного зрения на периферии. Например, их процессоры Metis AI Processing Units (AIPUs) используются в таких отраслях, как розничная торговля, безопасность и производство.

Чтобы упростить клиентам создание и развертывание AI-приложений, Axelera интегрировала модели Ultralytics YOLO в свой Voyager SDK — программную платформу, которая оптимизирует работу с моделями, их развертывание и ускорение на Metis AIPUs, делая Vision AI быстрее, проще и масштабируемее.

Link to this sectionПереосмысление аппаратного ускорения для Vision AI#

Основанная в 2021 году со штаб-квартирой в Нидерландах, компания Axelera AI поставила цель решить фундаментальную проблему: традиционное AI-оборудование создавалось для облака, а не для периферийных устройств. Чтобы устранить этот пробел, компания разработала Metis AIPU.

Это высокопроизводительный чип с низким энергопотреблением, разработанный специально для периферийных нагрузок — задач AI, выполняемых локально на устройствах, где критически важны скорость, конфиденциальность и энергоэффективность.

Он работает на базе запатентованной технологии Digital In-Memory Compute (D-IMC), которая позволяет обрабатывать данные непосредственно там, где они хранятся, что значительно снижает задержки и энергопотребление. Благодаря полностью интегрированному программному стеку и миссии по демократизации AI, Axelera делает высокопроизводительный AI более доступным.

Link to this sectionПроблема запуска моделей на периферийном AI-оборудовании#

Чтобы обеспечить бесперебойную работу AI на периферии, Axelera AI стремилась предоставить нечто большее, чем просто высокопроизводительное оборудование. Клиентам также требовался простой и надежный способ запуска решений компьютерного зрения в реальном времени, не требующий сложных инструментов или трудоемкой настройки. Многие существующие модели были слишком большими, медленными или плохо подходили для сред с ограниченными ресурсами.

Розничная аналитика, автоматизация заводов и системы наблюдения часто полагаются на быстрые и точные визуальные данные для поддержки операций. Однако традиционные модели и облачные решения обычно не могут соответствовать требованиям к низкой задержке, энергоэффективности и обработке на устройстве для таких периферийных AI-приложений.

Axelera начала поиск набора моделей, который был бы точным, простым в реализации и способным эффективно работать на процессорах Metis AI Processing Units. Правильное решение дополнило бы возможности оборудования, одновременно упрощая разработку и ускоряя развертывание для широкого спектра сценариев использования AI на периферии.

Link to this sectionУскоренный AI-вывод на периферии с Ultralytics YOLO#

Axelera AI интегрировала модели Ultralytics YOLO в свой Voyager SDK, чтобы сделать создание и развертывание периферийных AI-приложений быстрее, проще и масштабируемее. SDK включает в себя Model Zoo с готовыми к использованию моделями YOLO и автоматизирует весь конвейер, включая предварительную обработку, вывод и постобработку, оптимизированные для Metis AI Processing Units.

Рис. 1. Metis AI Processing Unit (AIPU).

Эта интеграция позволяет клиентам использовать предобученные модели Ultralytics YOLO сразу «из коробки» или подключать свои собственные с беспрепятственным ускорением на периферийном оборудовании. Благодаря поддержке параллельного и каскадного выполнения моделей Metis AIPUs позволяют настраивать сложные многомодельные конфигурации, например, оценку позы с последующей сегментацией. Это идеальное решение для сложных задач в ритейле, безопасности и промышленной автоматизации.

Сочетание задач компьютерного зрения в реальном времени, поддерживаемых моделями Ultralytics YOLO, и эффективного аппаратно-программного стека Axelera обеспечивает исключительную производительность на ватт и на доллар. Для клиентов это означает более точные результаты, более быстрое развертывание и низкий порог входа для масштабирования Vision AI на периферии.

Link to this sectionПочему стоит выбрать модели Ultralytics YOLO?#

Axelera AI сотрудничает с Ultralytics для интеграции моделей Ultralytics YOLO в свою платформу благодаря их исключительному балансу точности, скорости и простоты использования. Поддерживая различные варианты моделей Ultralytics YOLO, Axelera AI позволяет своим клиентам оценивать широкий спектр нагрузок и требований к производительности на чипе Metis AIPU.

Через корпоративную лицензию Ultralytics Axelera предоставляет доступ к полному набору моделей YOLO для оценки и разработки. Для коммерческого развертывания клиенты должны получить собственную лицензию непосредственно у Ultralytics через форму лицензирования, что обеспечивает соблюдение правовых норм и поддерживает масштабируемые инновации в области Vision AI на периферии.

Link to this sectionМасштабируемое использование моделей Ultralytics YOLO с помощью Voyager SDK от Axelera AI#

С моделями Ultralytics YOLO и Voyager SDK от Axelera AI пользователи могут развертывать точные приложения компьютерного зрения с низкой задержкой непосредственно на процессорах Metis AI Processing Units. Кроме того, доступ к различным вариантам YOLO позволяет клиентам корректировать производительность в зависимости от конкретных потребностей своего приложения.

Например, Axelera AI отмечает, что клиенты тестируют решения на базе YOLO в различных областях, таких как:

• Розничная торговля: Многомодельные конвейеры, объединяющие оценку позы, сегментацию и обнаружение объектов, могут использоваться для решения таких задач, как предотвращение потерь и отслеживание товарных запасов. Эти развертывания эффективно работают на встроенных платформах, таких как Raspberry Pi 5 в связке с Metis AIPU.
• Производство: Клиенты могут использовать параллельное выполнение моделей для одновременного решения нескольких задач, таких как обнаружение дефектов, классификация продукции и оценка позы, на одном чипе, чтобы повысить пропускную способность и снизить затраты на оборудование.
• Наблюдение: Возможности обнаружения объектов в реальном времени, которые предоставляет YOLO, можно использовать для анализа видеопотоков в 4K и 8K при полном разрешении, что способствует высокоточному мониторингу безопасности и ситуационной осведомленности в критически важных средах. Это гораздо лучшее решение, чем традиционное уменьшение масштаба на камерах высокого разрешения.
• Здравоохранение: Оптимизированные конвейеры YOLO могут поддерживать идентификацию опухолей, предлагая высокую скорость вывода и надежную точность для медицинской визуализации на самих устройствах.

Эти сценарии использования показывают, как периферийное AI-оборудование Axelera AI и модели Ultralytics YOLO расширяют возможности для высокопроизводительных и энергоэффективных инноваций Vision AI в разных отраслях.

Link to this sectionУскорение следующей волны периферийного AI с помощью Ultralytics YOLO#

Поскольку Axelera AI продолжает фокусироваться на расширении доступа к высокопроизводительному периферийному AI, она объединяет мощное оборудование и надежные модели компьютерного зрения, чтобы помочь клиентам создавать более умные и быстрые приложения.

Благодаря моделям Ultralytics YOLO, доступным через Voyager SDK, и оборудованию Metis AIPU, пользователи могут легко разрабатывать и масштабировать решения компьютерного зрения в реальном времени во многих отраслях. Это сотрудничество поддерживает растущее сообщество разработчиков и компаний, работающих над приближением AI к месту генерации данных, что повышает эффективность, отзывчивость и инновации на периферии.

Готов ускорить свой путь в периферийном AI? Изучи наш репозиторий на GitHub, чтобы увидеть, как модели YOLO способствуют инновациям, таким как AI в ритейле и компьютерное зрение в логистике. Начни работу с нашими инструментами Vision AI, узнай о вариантах лицензирования и открой для себя способы использования высокопроизводительного и энергоэффективного компьютерного зрения на периферии.