Развертывание приложений компьютерного зрения на периферийных AI-устройствах

Благодаря последним достижениям в области компьютерного зрения и искусственного интеллекта (AI) то, что когда-то было просто областью исследований, теперь стимулирует эффективные приложения в различных отраслях. От самоуправляемых автомобилей до медицинской визуализации и безопасности, системы компьютерного зрения решают реальные проблемы в масштабе. 

Многие из этих приложений включают анализ изображений и видео в режиме реального времени, и полагаться на облачные вычисления не всегда практично из-за задержки, затрат и проблем с конфиденциальностью. Edge AI — отличное решение в этих ситуациях. Запуская модели Vision AI непосредственно на периферийных устройствах, предприятия могут обрабатывать данные быстрее, доступнее и с большей безопасностью, что делает AI в реальном времени более доступным.

Во время YOLO Vision 2024 (YV24), ежегодного гибридного мероприятия, организованного Ultralytics, одной из центральных тем была демократизация Vision AI за счет упрощения и повышения эффективности развертывания. Гай Дахан, старший архитектор решений в NVIDIA, рассказал о том, как аппаратные и программные решения NVIDIA, включая периферийные вычислительные устройства, серверы логического вывода, платформы оптимизации и SDK для развертывания ИИ, помогают разработчикам оптимизировать ИИ на периферии.

В этой статье мы рассмотрим основные выводы из основного доклада Гая Дахана на YV24 и то, как последние инновации NVIDIA делают развертывание Vision AI более быстрым и масштабируемым.

Что такое периферийный ИИ (Edge AI)?

Гай Дахан начал свою речь с выражения энтузиазма по поводу виртуального присоединения к YV24 и своей заинтересованности в пакете Ultralytics Python и моделях Ultralytics YOLO, сказав: «Я использую Ultralytics с самого первого дня его выхода. Мне очень нравится Ultralytics — я использовал YOLOv5 еще до этого, и я настоящий энтузиаст этого пакета».

Затем он представил концепцию Edge AI, объяснив, что она включает в себя выполнение ИИ-вычислений непосредственно на устройствах, таких как камеры, дроны или промышленные машины, вместо отправки данных на удаленные облачные серверы для обработки. 

Вместо того чтобы ждать, пока изображения или видео будут загружены, проанализированы, а затем отправлены обратно с результатами, Edge AI позволяет анализировать данные мгновенно на самом устройстве. Это делает системы Vision AI быстрее, эффективнее и менее зависимыми от подключения к Интернету. Edge AI особенно полезен для приложений принятия решений в реальном времени, таких как самоуправляемые автомобили, камеры видеонаблюдения и умные фабрики. 

Основные преимущества периферийного ИИ

После представления Edge AI Гай Дахан выделил его основные преимущества, сосредоточив внимание на эффективности, экономии затрат и безопасности данных. Он объяснил, что одним из самых больших преимуществ является низкая задержка - поскольку модели AI обрабатывают данные непосредственно на устройстве, нет необходимости отправлять информацию в облако и ждать ответа. 

Edge AI также помогает снизить затраты и защитить конфиденциальные данные. Отправка больших объемов данных в облако, особенно видеопотоков, может быть дорогостоящей. Однако локальная обработка снижает затраты на пропускную способность и хранение. 

Еще одно ключевое преимущество — конфиденциальность данных, поскольку информация остается на устройстве, а не передается на внешний сервер. Это особенно важно для приложений в сфере здравоохранения, финансов и безопасности, где сохранение локальных и безопасных данных является главным приоритетом.

‍

Основываясь на этих преимуществах, Гай Дахан прокомментировал растущее распространение Edge AI. Он отметил, что с тех пор, как NVIDIA представила Jetson в 2014 году, использование увеличилось в десять раз. Сегодня более 1,2 миллиона разработчиков работают с устройствами Jetson. 

Обзор NVIDIA Jetson: периферийное устройство AI

Затем Гай Дахан сосредоточился на устройствах NVIDIA Jetson — семействе периферийных вычислительных устройств с искусственным интеллектом, предназначенных для обеспечения высокой производительности при низком энергопотреблении. Устройства Jetson идеально подходят для приложений компьютерного зрения в таких секторах, как робототехника, сельское хозяйство, здравоохранение и промышленная автоматизация. "Jetson — это периферийные устройства искусственного интеллекта, специально разработанные для искусственного интеллекта. Я бы даже добавил, что изначально они были разработаны в основном для компьютерного зрения", — добавил Гай Дахан.

Устройства Jetson поставляются в трех категориях, каждая из которых подходит для различных нужд:

• Начальный уровень: Эти устройства обеспечивают 20–40 триллионов операций в секунду (TOPS) производительности ИИ при энергопотреблении 10–15 Вт, что делает их доступным выбором для периферийных приложений.
  ‍
• Основной: Балансирует производительность и эффективность, предлагая 70 - 200 TOPS при потреблении мощности 20 - 40 Вт, подходит для AI-нагрузок среднего уровня.
  ‍
• Высокая производительность: Обеспечивает до 275 TOPS при потреблении энергии 60 - 75 Вт, предназначен для требовательных AI-приложений, таких как робототехника и автоматизация.

Кроме того, Гай Дахан рассказал о грядущем Jetson AGX Thor, который будет запущен в этом году, и сказал, что он предложит в восемь раз большую производительность GPU (графического процессора), в два раза больший объем памяти и улучшенную производительность CPU (центрального процессора). Он специально разработан для гуманоидной робототехники и передовых приложений Edge AI.

Сложности, связанные с развертыванием моделей компьютерного зрения

Затем Гай Дахан перешел к обсуждению программной стороны Edge AI и объяснил, что даже при наличии мощного оборудования эффективное развертывание моделей может быть сложной задачей. 

Одним из самых больших препятствий является совместимость, поскольку разработчики ИИ часто работают с различными фреймворками ИИ, такими как PyTorch и TensorFlow. Переход между этими фреймворками может быть затруднен, требуя от разработчиков воссоздания сред, чтобы убедиться, что все работает правильно.

Масштабируемость — еще одна ключевая проблема. Модели ИИ требуют значительной вычислительной мощности, и, как выразился Дахан, «Еще не было компании, занимающейся ИИ, которой требовалось бы меньше вычислений». Расширение приложений ИИ на несколько устройств может быстро стать дорогостоящим, что делает оптимизацию необходимой.

Кроме того, конвейеры ИИ сложны и часто включают в себя различные типы данных, обработку в реальном времени и системную интеграцию. Разработчики прилагают много усилий, чтобы их модели беспрепятственно взаимодействовали с существующими программными экосистемами. Преодоление этих проблем является важной частью повышения эффективности и масштабируемости развертываний ИИ.

‍

Упрощение развертывания с помощью NVIDIA Triton Inference Server

Далее, Гай Дахан обратил свое внимание на Triton Inference Server от NVIDIA. Он отметил, что многие компании и стартапы начинают разработку ИИ, не оптимизировав свои модели в полной мере. Перепроектирование всего конвейера ИИ с нуля может быть разрушительным и трудоемким, что затрудняет эффективное масштабирование. 

Вместо того чтобы требовать полной перестройки системы, Triton позволяет разработчикам постепенно совершенствовать и оптимизировать свои AI-процессы, интегрируя более эффективные компоненты, не нарушая существующую настройку. Благодаря поддержке нескольких AI-фреймворков, включая TensorFlow, PyTorch, ONNX и TensorRT, Triton обеспечивает бесшовное развертывание в облачных средах, центрах обработки данных и периферийных устройствах с минимальными корректировками.

‍

Вот некоторые из ключевых преимуществ NVIDIA Triton Inference Server:

• Автоматическая пакетная обработка: Triton объединяет несколько запросов ИИ перед их обработкой, что уменьшает задержки (латентность) и увеличивает скорость инференса (время, необходимое модели ИИ для генерации результатов).
  ‍
• Интеграция с Kubernetes: Triton является облачно-ориентированным, что означает, что он бесперебойно работает с Kubernetes (системой, которая помогает управлять и масштабировать приложения ИИ на нескольких компьютерах или облачных серверах).
  ‍
• Открытый исходный код и настраиваемость: Разработчики могут модифицировать Triton в соответствии со своими конкретными потребностями, обеспечивая гибкость для широкого спектра AI-приложений.

Максимизация производительности ИИ с использованием NVIDIA TensorRT

Предположим, вы ищете еще большее ускорение; NVIDIA TensorRT — интересный вариант для оптимизации ваших моделей ИИ. Гай Дахан уточнил, что TensorRT — это высокопроизводительный оптимизатор глубокого обучения, созданный для графических процессоров NVIDIA. Модели из TensorFlow, PyTorch, ONNX и MXNet можно преобразовать в высокоэффективные исполняемые GPU-файлы с помощью TensorRT.

TensorRT так надежен благодаря своей аппаратной оптимизации. Модель, оптимизированная для устройств Jetson, не будет работать так же эффективно на других графических процессорах, поскольку TensorRT точно настраивает производительность в зависимости от целевого оборудования. Точно настроенная модель компьютерного зрения может привести к увеличению скорости логического вывода до 36 раз по сравнению с неоптимизированными моделями.

Гай Дахан также обратил внимание на поддержку TensorRT со стороны Ultralytics, рассказав о том, как это делает развертывание моделей ИИ более быстрым и эффективным. Модели Ultralytics YOLO могут быть напрямую экспортированы в формат TensorRT, что позволяет разработчикам оптимизировать их для графических процессоров NVIDIA без каких-либо изменений. 

DeepStream 7.0: набор инструментов для потоковой аналитики

Завершая доклад на высокой ноте, Гай Дахан продемонстрировал DeepStream 7.0 - фреймворк ИИ, предназначенный для обработки видео, аудио и данных с датчиков в реальном времени с использованием графических процессоров NVIDIA. Разработанный для поддержки высокоскоростных приложений компьютерного зрения, он обеспечивает обнаружение объектов, отслеживание и аналитику в автономных системах, безопасности, промышленной автоматизации и умных городах. Запуская ИИ непосредственно на периферийных устройствах, DeepStream устраняет зависимость от облака, снижая задержку и повышая эффективность.

‍

В частности, DeepStream может обрабатывать видео с использованием ИИ от начала до конца. Он поддерживает сквозные рабочие процессы, от декодирования и предварительной обработки видео до логического вывода ИИ и постобработки. 

Недавно DeepStream представила несколько обновлений для улучшения развертывания AI, сделав его более доступным и масштабируемым. Новые инструменты упрощают разработку, улучшают отслеживание с нескольких камер и оптимизируют конвейеры AI для повышения производительности. 

Теперь разработчики имеют расширенную поддержку сред Windows, улучшенные возможности объединения данных от нескольких источников и доступ к предварительно созданным эталонным приложениям для ускорения развертывания. Эти улучшения делают DeepStream более гибким и эффективным решением для приложений ИИ в реальном времени, помогая разработчикам с легкостью масштабировать интеллектуальную видеоаналитику.

Основные выводы

Как было показано в основном докладе Гая Дахана на YV24, Edge AI переопределяет приложения компьютерного зрения. Благодаря достижениям в области аппаратного и программного обеспечения обработка в реальном времени становится быстрее, эффективнее и экономичнее.

По мере того как все больше отраслей внедряют Edge AI, решение таких проблем, как фрагментация и сложность развертывания, станет ключом к раскрытию его полного потенциала. Принятие этих инноваций будет стимулировать более разумные и отзывчивые приложения ИИ, формируя будущее компьютерного зрения.

Станьте частью нашего растущего сообщества! Изучите наш репозиторий на GitHub, чтобы узнать больше об ИИ, и ознакомьтесь с нашими вариантами лицензирования, чтобы дать старт своим проектам в области Vision AI. Интересуетесь инновациями, такими как ИИ в здравоохранении и компьютерное зрение в производстве? Посетите страницы наших решений, чтобы узнать больше!