Развертывание приложений компьютерного зрения на устройствах edge AI

Благодаря недавним достижениям в области computer vision и искусственного интеллекта (ИИ) то, что когда-то было лишь областью исследований, теперь стимулирует эффективные приложения в самых разных отраслях. От беспилотных автомобилей до медицинской визуализации и безопасности — системы компьютерного зрения решают реальные задачи в масштабе.

Многие из этих приложений связаны с анализом изображений и видео в режиме реального времени, и полагаться на облачные вычисления не всегда практично из-за задержек, затрат и вопросов конфиденциальности. Edge AI — отличное решение в таких ситуациях. Запуская модели ИИ для работы с визуальными данными напрямую на периферийных устройствах, компании могут обрабатывать данные быстрее, дешевле и с большей безопасностью, делая ИИ в реальном времени более доступным.

Во время YOLO Vision 2024 (YV24), ежегодного гибридного мероприятия, организованного Ultralytics, одной из центральных тем стала демократизация vision AI за счет повышения удобства и эффективности развертывания. Guy Dahan, старший архитектор решений в NVIDIA, рассказал о том, как аппаратные и программные решения NVIDIA, включая периферийные вычислительные устройства, серверы инференса, фреймворки оптимизации и SDK для развертывания ИИ, помогают разработчикам оптимизировать ИИ на периферии.

В этой статье мы рассмотрим ключевые выводы из доклада Guy Dahan на YV24 и узнаем, как последние инновации NVIDIA делают развертывание vision AI быстрее и масштабируемее.

Что такое Edge AI?#

Guy Dahan начал свое выступление с выражения энтузиазма по поводу виртуального участия в YV24 и своего интереса к пакету Python от Ultralytics и моделям Ultralytics YOLO models, сказав: «Я пользуюсь Ultralytics с самого дня его выхода. Мне очень нравится Ultralytics — я пользовался YOLOv5 еще до этого и являюсь большим энтузиастом этого пакета».

Затем он представил концепцию Edge AI, объяснив, что она включает в себя выполнение AI-вычислений непосредственно на таких устройствах, как камеры, дроны или промышленное оборудование, вместо отправки данных на удаленные облачные серверы для обработки.

Вместо того чтобы ждать, пока изображения или видео будут загружены, проанализированы, а затем отправлены обратно с результатами, Edge AI позволяет анализировать данные мгновенно на самом устройстве. Это делает системы vision AI быстрее, эффективнее и менее зависимыми от интернет-соединения. Edge AI особенно полезен для приложений, требующих принятия решений в реальном времени, таких как беспилотные автомобили, камеры безопасности и «умные» заводы.

Основные преимущества Edge AI#

Представив Edge AI, Guy Dahan подчеркнул его основные преимущества, сосредоточившись на эффективности, экономии затрат и безопасности данных. Он пояснил, что одно из главных достоинств — низкая задержка: поскольку AI-модели обрабатывают данные прямо на устройстве, нет необходимости отправлять информацию в облако и ждать ответа.

Edge AI также помогает сократить расходы и защитить конфиденциальные данные. Передача больших объемов данных в облако, особенно видеопотоков, может быть дорогостоящей. Однако локальная обработка снижает затраты на пропускную способность и хранение.

Другим важным преимуществом является data privacy, поскольку информация остается на устройстве, а не передается на внешний сервер. Это особенно важно для здравоохранения, финансов и систем безопасности, где сохранение данных локально и в безопасности является главным приоритетом.

Рис. 1. Guy Dahan выступает удаленно на YV24 о преимуществах Edge AI.

Развивая эти преимущества, Guy Dahan прокомментировал растущее внедрение Edge AI. Он отметил, что с момента выпуска Jetson компанией NVIDIA в 2014 году использование этих устройств выросло в десять раз. Сегодня более 1,2 миллиона разработчиков работают с устройствами Jetson.

Обзор NVIDIA Jetson: граничное AI-устройство#

Затем Guy Dahan сосредоточился на NVIDIA Jetson devices — семействе периферийных вычислительных устройств с поддержкой ИИ, разработанных для обеспечения высокой производительности при низком энергопотреблении. Устройства Jetson идеально подходят для приложений компьютерного зрения в таких секторах, как робототехника, сельское хозяйство, здравоохранение и промышленная автоматизация. «Jetson — это устройства Edge AI, созданные специально для ИИ. Я бы даже добавил, что изначально они проектировались главным образом для компьютерного зрения», — добавил Guy Dahan.

Устройства Jetson представлены в трех уровнях, каждый из которых подходит для разных нужд:

• Начальный уровень: Эти устройства обеспечивают производительность AI от 20 до 40 триллионов операций в секунду (TOPS) при энергопотреблении 10–15 Вт, что делает их доступным выбором для граничных приложений.
• Основной уровень: Баланс между производительностью и эффективностью, предлагающий 70–200 TOPS при энергопотреблении 20–40 Вт, подходит для средних нагрузок AI.
• Высокая производительность: Обеспечивает до 275 TOPS при энергопотреблении 60–75 Вт, разработан для требовательных AI-приложений, таких как робототехника и автоматизация.

Кроме того, Guy Dahan рассказал о готовящемся к выпуску в этом году Jetson AGX Thor и сообщил, что он предложит восьмикратное повышение производительности GPU (Graphics Processing Unit), вдвое больший объем памяти и улучшенную производительность CPU (Central Processing Unit). Он специально разработан для гуманоидной робототехники и передовых приложений Edge AI.

Проблемы, связанные с развертыванием моделей компьютерного зрения#

Затем Guy Dahan переключился на обсуждение программной стороны Edge AI и объяснил, что даже при мощном оборудовании эффективное развертывание моделей может быть непростой задачей.

Одним из главных препятствий является совместимость, поскольку разработчики ИИ часто работают с различными AI frameworks, такими как PyTorch и TensorFlow. Переход между этими фреймворками может быть сложным и требовать от разработчиков воссоздания окружений для обеспечения корректной работы всего.

Масштабируемость — еще одна ключевая проблема. AI-модели требуют значительных вычислительных мощностей, и, как выразился Dahan, "Еще не было ни одной AI-компании, которой требовалось бы меньше вычислительных ресурсов". Масштабирование AI-приложений на множество устройств может быстро стать дорогостоящим, что делает оптимизацию необходимой.

Кроме того, пайплайны ИИ сложны и часто включают различные типы данных, обработку в реальном времени и интеграцию систем. Разработчики прикладывают много усилий для обеспечения бесшовного взаимодействия своих моделей с существующими программными экосистемами. Преодоление этих трудностей — важнейшая часть повышения эффективности и масштабируемости AI deployments.

Рис. 2. Проблемы при развертывании моделей.

Упрощение развертывания с помощью NVIDIA Triton Inference Server#

Далее Guy Dahan обратил внимание на Triton Inference Server от NVIDIA. Он отметил, что многие компании и стартапы начинают разработку ИИ без полной оптимизации своих моделей. Переработка всего пайплайна ИИ с нуля может нарушить процессы и занять много времени, что затрудняет эффективное масштабирование.

Вместо необходимости полной переработки системы, Triton позволяет постепенно уточнять и оптимизировать AI-рабочие процессы, интегрируя более эффективные компоненты без нарушения существующей настройки. Благодаря поддержке нескольких AI-фреймворков, включая TensorFlow, PyTorch, ONNX и TensorRT, Triton обеспечивает беспрепятственное развертывание в облачных средах, центрах обработки данных и на граничных устройствах с минимальными корректировками.

Рис. 3. Обзор NVIDIA Triton Inference Server.

Вот некоторые из ключевых преимуществ NVIDIA Triton Inference Server:

• Автоматическое пакетирование (batching): Triton группирует несколько AI-запросов перед их обработкой, сокращая задержки и повышая скорость логического вывода (время, необходимое AI-модели для получения результатов).
• Интеграция с Kubernetes: Triton является облачно-ориентированным, что означает, что он беспрепятственно работает с Kubernetes (системой, которая помогает управлять и масштабировать AI-приложения на множестве компьютеров или облачных серверов).
• Открытый исходный код и возможность настройки: Разработчики могут изменять Triton в соответствии со своими конкретными потребностями, обеспечивая гибкость для широкого спектра AI-приложений.

Максимизация производительности AI с помощью NVIDIA TensorRT#

Допустим, тебе требуется еще большее ускорение; NVIDIA TensorRT — интересный вариант для оптимизации твоих моделей ИИ. Guy Dahan пояснил, что TensorRT — это высокопроизводительный оптимизатор глубокого обучения, созданный для графических процессоров NVIDIA. Модели из TensorFlow, PyTorch, ONNX и MXNet можно преобразовывать в высокоэффективные файлы, исполняемые на GPU, с помощью TensorRT.

Что делает TensorRT таким надежным, так это его аппаратные оптимизации. Модель, оптимизированная для устройств Jetson, не будет работать так же эффективно на других GPU, потому что TensorRT настраивает производительность на основе целевого оборудования. Оптимизированная модель компьютерного зрения может привести к увеличению скорости логического вывода до 36 раз по сравнению с неоптимизированными моделями.

Guy Dahan также обратил внимание на поддержку TensorRT со стороны Ultralytics, рассказав о том, как она делает развертывание моделей ИИ быстрее и эффективнее. Модели Ultralytics YOLO можно напрямую экспортировать в формат TensorRT, позволяя разработчикам оптимизировать их для графических процессоров NVIDIA без необходимости внесения каких-либо изменений.

DeepStream 7.0: набор инструментов для потоковой аналитики#

Завершая выступление на позитивной ноте, Guy Dahan продемонстрировал DeepStream 7.0 — фреймворк ИИ, созданный для обработки видео, аудио и данных с датчиков в реальном времени с использованием графических процессоров NVIDIA. Созданный для поддержки высокоскоростных приложений компьютерного зрения, он обеспечивает обнаружение объектов, трекинг и аналитику в автономных системах, безопасности, промышленной автоматизации и умных городах. Запуская ИИ прямо на периферийных устройствах, DeepStream устраняет зависимость от облака, снижая задержки и повышая эффективность.

Рис. 4. Изучение DeepStream 7.0 на YV24 с Guy Dahan.

В частности, DeepStream может полностью обрабатывать AI-видеоаналитику от начала до конца. Он поддерживает сквозные рабочие процессы, от декодирования видео и предварительной обработки до логического вывода AI и постобработки.

Недавно DeepStream представил несколько обновлений для улучшения развертывания AI, делая его более доступным и масштабируемым. Новые инструменты упрощают разработку, улучшают отслеживание с нескольких камер и оптимизируют AI-конвейеры для повышения производительности.

Разработчики теперь имеют расширенную поддержку сред Windows, улучшенные возможности синтеза сенсорных данных для интеграции информации из нескольких источников и доступ к готовым эталонным приложениям для ускорения развертывания. Эти улучшения делают DeepStream более гибким и эффективным решением для AI-приложений в реальном времени, помогая разработчикам легко масштабировать интеллектуальную видеоаналитику.

Основные выводы#

Как показано в докладе Guy Dahan на YV24, Edge AI меняет представление о приложениях компьютерного зрения. Благодаря достижениям в аппаратном и программном обеспечении обработка в реальном времени становится быстрее, эффективнее и экономичнее.

Поскольку все больше отраслей внедряют Edge AI, решение таких проблем, как фрагментация и сложность развертывания, станет ключом к раскрытию его полного потенциала. Использование этих инноваций приведет к созданию более интеллектуальных и отзывчивых AI-приложений, формируя будущее компьютерного зрения.

Стань частью нашего растущего сообщества! Изучи наш репозиторий на GitHub, чтобы узнать больше об ИИ, и ознакомься с нашими вариантами лицензирования, чтобы запустить свои проекты в области визуального ИИ. Интересуешься такими инновациями, как ИИ в здравоохранении и компьютерное зрение на производстве? Посети страницы наших решений, чтобы узнать больше!