Axelera AI обеспечивает 34 FPS для edge AI-инференса с использованием Ultralytics YOLO

Axelera AI — это европейская полупроводниковая компания, которая создает мощные и энергоэффективные чипы ИИ для запуска компьютерного зрения на периферии. Например, их процессоры Metis AI Processing Units (AIPUs) используются в таких отраслях, как ритейл, безопасность и производство.

Чтобы упростить клиентам создание и развертывание приложений ИИ, Axelera интегрировала модели Ultralytics YOLO в свой Voyager SDK — программную платформу, которая оптимизирует процесс оптимизации, развертывания и ускорения моделей на Metis AIPUs, делая Vision AI в реальном времени быстрее, проще и масштабируемее.

Переосмысление аппаратного ускорения для Vision AI#

Основанная в 2021 году со штаб-квартирой в Нидерландах, компания Axelera AI поставила перед собой задачу решить фундаментальную проблему: традиционное оборудование для ИИ создавалось для облака, а не для периферии. Чтобы устранить этот пробел, компания разработала процессор Metis AIPU.

Это высокопроизводительный чип с низким энергопотреблением, разработанный специально для периферийных нагрузок — задач AI, выполняемых локально на устройствах, где критически важны скорость, конфиденциальность и энергоэффективность.

Он работает на базе запатентованной технологии Digital In-Memory Compute (D-IMC), которая позволяет обрабатывать данные непосредственно там, где они хранятся, что значительно снижает задержки и энергопотребление. Благодаря полностью интегрированному программному стеку и миссии по демократизации AI, Axelera делает высокопроизводительный AI более доступным.

Проблема запуска моделей на периферийном AI-оборудовании#

Чтобы обеспечить бесперебойную работу ИИ на периферии, Axelera AI стремилась предоставить нечто большее, чем просто высокопроизводительное железо. Клиентам также требовался простой и надежный способ запуска решений компьютерного зрения в реальном времени без использования сложных инструментов или трудоемкой кастомизации. Многие существующие модели были слишком большими, медленными или неподходящими для сред с ограниченными ресурсами.

Розничная аналитика, автоматизация заводов и системы наблюдения часто полагаются на быстрые и точные визуальные данные для поддержки операций. Однако традиционные модели и облачные решения обычно не могут соответствовать требованиям к низкой задержке, энергоэффективности и обработке на устройстве для таких периферийных AI-приложений.

Axelera начала поиск набора моделей, который был бы точным, простым в реализации и способным эффективно работать на процессорах Metis AI Processing Units. Правильное решение дополнило бы возможности оборудования, одновременно упрощая разработку и ускоряя развертывание для широкого спектра сценариев использования AI на периферии.

Ускоренный AI-вывод на периферии с Ultralytics YOLO#

Axelera AI интегрировала модели Ultralytics YOLO в свой Voyager SDK, чтобы сделать создание и развертывание периферийных приложений ИИ более быстрым, простым и масштабируемым. SDK включает Model Zoo с готовыми к использованию моделями YOLO и автоматизирует весь конвейер, охватывающий предобработку, инференс и постобработку, оптимизированный для Metis AI Processing Units.

Рис. 1. Metis AI Processing Unit (AIPU).

Эта интеграция позволяет клиентам использовать предобученные модели Ultralytics YOLO сразу «из коробки» или подключать свои собственные с беспрепятственным ускорением на периферийном оборудовании. Благодаря поддержке параллельного и каскадного выполнения моделей Metis AIPUs позволяют настраивать сложные многомодельные конфигурации, например, оценку позы с последующей сегментацией. Это идеальное решение для сложных задач в ритейле, безопасности и промышленной автоматизации.

Сочетание задач компьютерного зрения в реальном времени, поддерживаемых моделями Ultralytics YOLO, и эффективного аппаратного и программного стека Axelera обеспечивает исключительную производительность на ватт и доллар. Для клиентов это означает более точные результаты, быстрое развертывание и меньший барьер для масштабирования Vision AI на периферии.

Почему стоит выбрать модели Ultralytics YOLO?#

Axelera AI сотрудничает с Ultralytics для интеграции моделей Ultralytics YOLO в свою платформу благодаря их исключительному балансу точности, скорости и простоты использования. Поддерживая различные варианты моделей Ultralytics YOLO, Axelera AI позволяет своим клиентам оценивать широкий спектр нагрузок и требований к производительности на чипе Metis AIPU.

Благодаря лицензии Ultralytics Enterprise License компания Axelera предоставляет доступ к полному набору моделей YOLO для оценки и разработки. Для коммерческого развертывания клиенты должны получить собственную лицензию напрямую у Ultralytics через форму лицензирования, что обеспечивает соответствие требованиям и поддерживает масштабируемые инновации в Vision AI на периферии.

Масштабируемое использование моделей Ultralytics YOLO с помощью Voyager SDK от Axelera AI#

С моделями Ultralytics YOLO и Voyager SDK от Axelera AI пользователи могут развертывать точные приложения компьютерного зрения с низкой задержкой непосредственно на процессорах Metis AI Processing Units. Кроме того, доступ к различным вариантам YOLO позволяет клиентам корректировать производительность в зависимости от конкретных потребностей своего приложения.

Например, Axelera AI отмечает, что клиенты тестируют решения на базе YOLO в различных областях, таких как:

• Розничная торговля: Многомодельные конвейеры, объединяющие оценку позы, сегментацию и обнаружение объектов, могут использоваться для решения таких задач, как предотвращение потерь и отслеживание товарных запасов. Эти развертывания эффективно работают на встроенных платформах, таких как Raspberry Pi 5 в связке с Metis AIPU.
• Производство: Клиенты могут использовать параллельное выполнение моделей для одновременного решения нескольких задач, таких как обнаружение дефектов, классификация продукции и оценка позы, на одном чипе, чтобы повысить пропускную способность и снизить затраты на оборудование.
• Наблюдение: Возможности обнаружения объектов YOLO в реальном времени могут использоваться для анализа видеопотоков 4K и 8K в полном разрешении, что обеспечивает высокую точность мониторинга безопасности и ситуационной осведомленности в критических средах. Это гораздо лучше традиционного уменьшения разрешения на камерах высокого разрешения.
• Здравоохранение: Оптимизированные конвейеры YOLO могут поддерживать идентификацию опухолей, предлагая высокую скорость вывода и надежную точность для медицинской визуализации на самих устройствах.

Эти сценарии использования показывают, как периферийное AI-оборудование Axelera AI и модели Ultralytics YOLO расширяют возможности для высокопроизводительных и энергоэффективных инноваций Vision AI в разных отраслях.

Ускорение следующей волны периферийного AI с помощью Ultralytics YOLO#

Поскольку Axelera AI продолжает фокусироваться на расширении доступа к высокопроизводительному периферийному AI, она объединяет мощное оборудование и надежные модели компьютерного зрения, чтобы помочь клиентам создавать более умные и быстрые приложения.

Благодаря моделям Ultralytics YOLO, доступным через Voyager SDK и оборудование Metis AIPU, пользователи могут легко разрабатывать и масштабировать решения компьютерного зрения в реальном времени для различных отраслей. Это сотрудничество поддерживает растущее сообщество разработчиков и компаний, которые стремятся приблизить ИИ к месту создания данных, повышая эффективность, оперативность и инновации на периферии.

Готов ускорить свой путь в периферийном ИИ? Изучи наш репозиторий GitHub, чтобы узнать, как модели YOLO стимулируют инновации в таких областях, как ИИ в ритейле и компьютерное зрение в логистике. Попробуй наши инструменты Vision AI на практике, узнай о вариантах лицензирования и открой для себя возможности высокопроизводительного и энергоэффективного компьютерного зрения на периферии.