Развертывание приложений компьютерного зрения на устройствах edge AI

Благодаря недавним достижениям в области computer vision и искусственного интеллекта (AI), то, что раньше было лишь областью исследований, теперь стимулирует создание эффективных приложений в самых разных отраслях. От беспилотных автомобилей до медицинской визуализации и систем безопасности — системы компьютерного зрения решают реальные задачи в больших масштабах.

Многие из этих приложений требуют анализа изображений и видео в режиме реального времени, и полагаться на облачные вычисления не всегда практично из-за задержек, расходов и проблем с конфиденциальностью. Edge AI — отличное решение в таких ситуациях. Запуская AI-модели зрения непосредственно на граничных устройствах, ты можешь обрабатывать данные быстрее, дешевле и с большей безопасностью, делая AI в реальном времени более доступным.

Во время YOLO Vision 2024 (YV24), ежегодного гибридного мероприятия, проводимого Ultralytics, одной из центральных тем стала демократизация vision AI за счет повышения удобства и эффективности развертывания. Guy Dahan, старший архитектор решений в NVIDIA, рассказал, как аппаратные и программные решения NVIDIA, включая граничные вычислительные устройства, серверы логического вывода, платформы оптимизации и SDK для развертывания AI, помогают разработчикам оптимизировать AI на границе.

В этой статье мы рассмотрим ключевые выводы из доклада Guy Dahan на YV24 и узнаем, как последние инновации NVIDIA делают развертывание vision AI быстрее и масштабируемее.

Link to this sectionЧто такое Edge AI?#

Guy Dahan начал свое выступление с того, что выразил энтузиазм по поводу участия в YV24 в виртуальном формате и интереса к Python-пакету Ultralytics и YOLO models от Ultralytics, сказав: "Я использую Ultralytics с самого дня его появления. Мне очень нравится Ultralytics — я использовал YOLOv5 еще до этого, и я настоящий энтузиаст этого пакета".

Затем он представил концепцию Edge AI, объяснив, что она включает в себя выполнение AI-вычислений непосредственно на таких устройствах, как камеры, дроны или промышленное оборудование, вместо отправки данных на удаленные облачные серверы для обработки.

Вместо того чтобы ждать, пока изображения или видео будут загружены, проанализированы, а затем отправлены обратно с результатами, Edge AI позволяет анализировать данные мгновенно на самом устройстве. Это делает системы vision AI быстрее, эффективнее и менее зависимыми от интернет-соединения. Edge AI особенно полезен для приложений, требующих принятия решений в реальном времени, таких как беспилотные автомобили, камеры безопасности и «умные» заводы.

Link to this sectionОсновные преимущества Edge AI#

Представив Edge AI, Guy Dahan подчеркнул его основные преимущества, сосредоточившись на эффективности, экономии затрат и безопасности данных. Он пояснил, что одно из главных достоинств — низкая задержка: поскольку AI-модели обрабатывают данные прямо на устройстве, нет необходимости отправлять информацию в облако и ждать ответа.

Edge AI также помогает сократить расходы и защитить конфиденциальные данные. Передача больших объемов данных в облако, особенно видеопотоков, может быть дорогостоящей. Однако локальная обработка снижает затраты на пропускную способность и хранение.

Еще одно ключевое преимущество — data privacy, поскольку информация остается на устройстве, а не передается на внешний сервер. Это особенно важно для здравоохранения, финансов и систем безопасности, где сохранение данных локально и в безопасности является главным приоритетом.

Рис. 1. Guy Dahan выступает удаленно на YV24 о преимуществах Edge AI.

Развивая эти преимущества, Guy Dahan прокомментировал растущее внедрение Edge AI. Он отметил, что с момента выпуска Jetson компанией NVIDIA в 2014 году использование этих устройств выросло в десять раз. Сегодня более 1,2 миллиона разработчиков работают с устройствами Jetson.

Link to this sectionОбзор NVIDIA Jetson: граничное AI-устройство#

Затем Guy Dahan сосредоточился на NVIDIA Jetson devices, семействе граничных AI-устройств, разработанных для обеспечения высокой производительности при низком энергопотреблении. Устройства Jetson идеально подходят для приложений компьютерного зрения в таких секторах, как робототехника, сельское хозяйство, здравоохранение и промышленная автоматизация. "Jetsons — это устройства Edge AI, специально созданные для AI. Я бы даже добавил, что изначально они разрабатывались в основном для компьютерного зрения", — добавил Guy Dahan.

Устройства Jetson представлены в трех уровнях, каждый из которых подходит для разных нужд:

• Начальный уровень: Эти устройства обеспечивают производительность AI от 20 до 40 триллионов операций в секунду (TOPS) при энергопотреблении 10–15 Вт, что делает их доступным выбором для граничных приложений.
• Основной уровень: Баланс между производительностью и эффективностью, предлагающий 70–200 TOPS при энергопотреблении 20–40 Вт, подходит для средних нагрузок AI.
• Высокая производительность: Обеспечивает до 275 TOPS при энергопотреблении 60–75 Вт, разработан для требовательных AI-приложений, таких как робототехника и автоматизация.

Кроме того, Guy Dahan рассказал о готовящемся к выпуску в этом году Jetson AGX Thor и сообщил, что он предложит восьмикратное повышение производительности GPU (Graphics Processing Unit), вдвое больший объем памяти и улучшенную производительность CPU (Central Processing Unit). Он специально разработан для гуманоидной робототехники и передовых приложений Edge AI.

Link to this sectionПроблемы, связанные с развертыванием моделей компьютерного зрения#

Затем Guy Dahan переключился на обсуждение программной стороны Edge AI и объяснил, что даже при мощном оборудовании эффективное развертывание моделей может быть непростой задачей.

Одно из главных препятствий — совместимость, поскольку разработчики AI часто работают с разными AI frameworks, такими как PyTorch и TensorFlow. Переход между этими платформами может быть затруднительным и требовать от разработчиков воссоздания сред для обеспечения корректной работы всего стека.

Масштабируемость — еще одна ключевая проблема. AI-модели требуют значительных вычислительных мощностей, и, как выразился Dahan, "Еще не было ни одной AI-компании, которой требовалось бы меньше вычислительных ресурсов". Масштабирование AI-приложений на множество устройств может быстро стать дорогостоящим, что делает оптимизацию необходимой.

Кроме того, AI-конвейеры сложны и часто включают различные типы данных, обработку в реальном времени и системную интеграцию. Разработчики тратят много усилий, чтобы обеспечить безупречное взаимодействие своих моделей с существующими программными экосистемами. Преодоление этих проблем — важная часть повышения эффективности и масштабируемости AI deployments.

Рис. 2. Проблемы при развертывании моделей.

Link to this sectionУпрощение развертывания с помощью NVIDIA Triton Inference Server#

Затем Guy Dahan обратил внимание на Triton Inference Server от NVIDIA. Он отметил, что многие компании и стартапы начинают разработку AI, не оптимизируя свои модели полностью. Перепроектирование всего AI-конвейера с нуля может быть разрушительным и трудоемким процессом, затрудняющим эффективное масштабирование.

Вместо необходимости полной переработки системы, Triton позволяет постепенно уточнять и оптимизировать AI-рабочие процессы, интегрируя более эффективные компоненты без нарушения существующей настройки. Благодаря поддержке нескольких AI-фреймворков, включая TensorFlow, PyTorch, ONNX и TensorRT, Triton обеспечивает беспрепятственное развертывание в облачных средах, центрах обработки данных и на граничных устройствах с минимальными корректировками.

Рис. 3. Обзор NVIDIA Triton Inference Server.

Вот некоторые из ключевых преимуществ NVIDIA Triton Inference Server:

• Автоматическое пакетирование (batching): Triton группирует несколько AI-запросов перед их обработкой, сокращая задержки и повышая скорость логического вывода (время, необходимое AI-модели для получения результатов).
• Интеграция с Kubernetes: Triton является облачно-ориентированным, что означает, что он беспрепятственно работает с Kubernetes (системой, которая помогает управлять и масштабировать AI-приложения на множестве компьютеров или облачных серверов).
• Открытый исходный код и возможность настройки: Разработчики могут изменять Triton в соответствии со своими конкретными потребностями, обеспечивая гибкость для широкого спектра AI-приложений.

Link to this sectionМаксимизация производительности AI с помощью NVIDIA TensorRT#

Допустим, ты ищешь еще большего ускорения; NVIDIA TensorRT — интересный вариант для оптимизации твоих AI-моделей. Guy Dahan пояснил, что TensorRT — это высокопроизводительный оптимизатор глубокого обучения, созданный для NVIDIA GPU. Модели из TensorFlow, PyTorch, ONNX и MXNet могут быть преобразованы в высокоэффективные исполняемые файлы для GPU с использованием TensorRT.

Что делает TensorRT таким надежным, так это его аппаратные оптимизации. Модель, оптимизированная для устройств Jetson, не будет работать так же эффективно на других GPU, потому что TensorRT настраивает производительность на основе целевого оборудования. Оптимизированная модель компьютерного зрения может привести к увеличению скорости логического вывода до 36 раз по сравнению с неоптимизированными моделями.

Guy Dahan также отметил поддержку TensorRT компанией Ultralytics, рассказав о том, как это делает развертывание AI-моделей быстрее и эффективнее. Модели Ultralytics YOLO можно напрямую экспортировать в формат TensorRT, позволяя разработчикам оптимизировать их для NVIDIA GPU без необходимости внесения каких-либо изменений.

Link to this sectionDeepStream 7.0: набор инструментов для потоковой аналитики#

Завершая выступление на высокой ноте, Guy Dahan продемонстрировал DeepStream 7.0 — AI-платформу, разработанную для обработки видео, аудио и сенсорных данных в режиме реального времени с использованием NVIDIA GPU. Созданная для поддержки высокоскоростных приложений компьютерного зрения, она позволяет выполнять обнаружение объектов, отслеживание и аналитику в автономных системах, безопасности, промышленной автоматизации и «умных» городах. Запуская AI непосредственно на граничных устройствах, DeepStream устраняет зависимость от облака, уменьшая задержки и повышая эффективность.

Рис. 4. Изучение DeepStream 7.0 на YV24 с Guy Dahan.

В частности, DeepStream может полностью обрабатывать AI-видеоаналитику от начала до конца. Он поддерживает сквозные рабочие процессы, от декодирования видео и предварительной обработки до логического вывода AI и постобработки.

Недавно DeepStream представил несколько обновлений для улучшения развертывания AI, делая его более доступным и масштабируемым. Новые инструменты упрощают разработку, улучшают отслеживание с нескольких камер и оптимизируют AI-конвейеры для повышения производительности.

Разработчики теперь имеют расширенную поддержку сред Windows, улучшенные возможности синтеза сенсорных данных для интеграции информации из нескольких источников и доступ к готовым эталонным приложениям для ускорения развертывания. Эти улучшения делают DeepStream более гибким и эффективным решением для AI-приложений в реальном времени, помогая разработчикам легко масштабировать интеллектуальную видеоаналитику.

Link to this sectionОсновные выводы#

Как показано в докладе Guy Dahan на YV24, Edge AI меняет представление о приложениях компьютерного зрения. Благодаря достижениям в аппаратном и программном обеспечении обработка в реальном времени становится быстрее, эффективнее и экономичнее.

Поскольку все больше отраслей внедряют Edge AI, решение таких проблем, как фрагментация и сложность развертывания, станет ключом к раскрытию его полного потенциала. Использование этих инноваций приведет к созданию более интеллектуальных и отзывчивых AI-приложений, формируя будущее компьютерного зрения.

Стань частью нашего растущего сообщества! Изучи наш репозиторий GitHub, чтобы узнать больше об AI, и ознакомься с нашими вариантами лицензирования, чтобы дать старт своим проектам в области vision AI. Интересуют такие инновации, как AI в здравоохранении и компьютерное зрение в производстве? Посети наши страницы решений, чтобы узнать больше!