Развертывание приложений компьютерного зрения на устройствах Edge AI

Благодаря последним достижениям в области компьютерного зрения и искусственного интеллекта (AI) то, что когда-то было лишь областью исследований, теперь позволяет создавать эффективные приложения в самых разных отраслях. От беспилотных автомобилей до медицинской визуализации и систем безопасности — системы компьютерного зрения помогают решать реальные задачи в масштабах всей отрасли.

Многие из этих приложений предполагают анализ изображений и видео в реальном времени, а использование облачных вычислений не всегда практично из-за задержек, затрат и проблем с конфиденциальностью. Периферийный AI — отличное решение в таких ситуациях. Запуская модели AI для компьютерного зрения непосредственно на периферийных устройствах, компании могут обрабатывать данные быстрее, дешевле и безопаснее, делая AI в реальном времени более доступным.

На мероприятии YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии, организованном Ultralytics, — одной из центральных тем была демократизация AI для компьютерного зрения за счёт упрощения и повышения эффективности развёртывания. Гай Дахан, старший архитектор решений в NVIDIA, рассказал, как аппаратные и программные решения NVIDIA, включая устройства для периферийных вычислений, серверы инференса, фреймворки оптимизации и SDK для развёртывания AI, помогают разработчикам оптимизировать AI на периферии.

В этой статье мы рассмотрим основные выводы из программного доклада Гая Дахана на YV24 и то, как последние инновации NVIDIA делают развёртывание AI для компьютерного зрения более быстрым и масштабируемым.

Что такое периферийный AI?#

Гай Дахан начал своё выступление, выразив воодушевление от виртуального участия в YV24 и интерес к пакету Ultralytics Python и моделям YOLO от Ultralytics: «Я использую Ultralytics с того дня, когда он появился. Мне очень нравится Ultralytics — я использовал YOLOv5 ещё до этого и очень увлечён этим пакетом».

Затем он представил концепцию периферийного AI, объяснив, что она предполагает выполнение вычислений AI непосредственно на таких устройствах, как камеры, дроны или промышленные машины, вместо отправки данных на удалённые облачные серверы для обработки.

Вместо того чтобы ждать загрузки и анализа изображений или видео, а затем получать результаты обратно, периферийный AI позволяет мгновенно анализировать данные непосредственно на самом устройстве. Благодаря этому системы AI для компьютерного зрения работают быстрее и эффективнее и меньше зависят от подключения к интернету. Периферийный AI особенно полезен для приложений, принимающих решения в реальном времени, таких как беспилотные автомобили, камеры безопасности и умные фабрики.

Основные преимущества периферийного AI#

После представления периферийного AI Гай Дахан выделил его основные преимущества, сосредоточившись на эффективности, экономии средств и безопасности данных. Он объяснил, что одно из главных преимуществ — низкая задержка: поскольку модели AI обрабатывают данные непосредственно на устройстве, нет необходимости отправлять информацию в облако и ждать ответа.

Периферийный AI также помогает сократить расходы и защитить конфиденциальные данные. Отправка больших объёмов данных в облако, особенно видеопотоков, может быть дорогостоящей. Однако локальная обработка снижает затраты на пропускную способность и хранение.

Ещё одно важное преимущество — конфиденциальность данных, поскольку информация остаётся на устройстве, а не передаётся на внешний сервер. Это особенно важно для приложений в сфере здравоохранения, финансов и безопасности, где сохранение данных локально и в защищённом виде является главным приоритетом.

Рис. 1. Гай Дахан удалённо выступает на YV24 о преимуществах периферийного AI.

Развивая тему этих преимуществ, Гай Дахан отметил растущее распространение периферийного AI. Он сообщил, что с момента представления NVIDIA платформы Jetson в 2014 году её использование увеличилось в десять раз. Сегодня более 1,2 миллиона разработчиков работают с устройствами Jetson.

Обзор NVIDIA Jetson: устройство для периферийного AI#

Затем Гай Дахан сосредоточился на устройствах NVIDIA Jetson — семействе устройств для периферийных вычислений AI, предназначенных для высокой производительности при низком энергопотреблении. Устройства Jetson идеально подходят для приложений компьютерного зрения в таких сферах, как робототехника, сельское хозяйство, здравоохранение и промышленная автоматизация. «Jetson — это устройства для периферийного AI, специально созданные для AI. Я бы даже добавил, что изначально они были разработаны главным образом для компьютерного зрения», — добавил Гай Дахан.

Устройства Jetson выпускаются в трёх категориях, каждая из которых подходит для разных задач:

• Начальный уровень: эти устройства обеспечивают производительность AI на уровне 20–40 триллионов операций в секунду (TOPS) при энергопотреблении 10–15 Вт, что делает их доступным вариантом для периферийных приложений.
• Массовый сегмент: балансируют между производительностью и эффективностью, предлагая 70–200 TOPS при энергопотреблении 20–40 Вт; подходят для AI-нагрузок среднего уровня.
• Высокая производительность: обеспечивают до 275 TOPS при энергопотреблении 60–75 Вт и предназначены для требовательных AI-приложений, таких как робототехника и автоматизация.

Кроме того, Гай Дахан рассказал о предстоящем выпуске Jetson AGX Thor, который состоится в этом году, и отметил, что устройство обеспечит восьмикратный прирост производительности GPU (графического процессора), вдвое большую ёмкость памяти и улучшенную производительность CPU (центрального процессора). Оно специально разработано для гуманоидной робототехники и передовых приложений периферийного AI.

Проблемы, связанные с развёртыванием моделей компьютерного зрения#

Затем Гай Дахан перешёл к обсуждению программной стороны периферийного AI и объяснил, что даже при наличии мощного оборудования эффективное развёртывание моделей может быть сложной задачей.

Одно из главных препятствий — совместимость, поскольку разработчики AI часто работают с разными фреймворками AI, такими как PyTorch и TensorFlow. Переход между этими фреймворками может быть сложным и требовать от разработчиков воссоздания окружений, чтобы убедиться в корректной работе всех компонентов.

Масштабируемость — ещё одна важная проблема. Моделям AI требуется значительная вычислительная мощность, и, как выразился Дахан, «ещё не было AI-компании, которой требовалось бы меньше вычислительных ресурсов». Масштабирование AI-приложений на множестве устройств может быстро стать дорогостоящим, поэтому оптимизация крайне важна.

Кроме того, конвейеры AI сложны и часто включают разные типы данных, обработку в реальном времени и интеграцию с системами. Разработчики тратят много усилий на то, чтобы их модели бесшовно взаимодействовали с существующими программными экосистемами. Преодоление этих проблем — важная часть повышения эффективности и масштабируемости развёртывания AI.

Рис. 2. Проблемы развёртывания моделей.

Упрощение развёртывания с помощью NVIDIA Triton Inference Server#

Затем Гай Дахан переключил внимание на NVIDIA Triton Inference Server. Он отметил, что многие компании и стартапы начинают разработку AI, не выполняя полную оптимизацию моделей. Полная переработка конвейера AI с нуля может нарушить рабочие процессы и занять много времени, что затрудняет эффективное масштабирование.

Вместо полной перестройки системы Triton позволяет разработчикам постепенно улучшать и оптимизировать рабочие процессы AI, интегрируя более эффективные компоненты без нарушения существующей конфигурации. Благодаря поддержке нескольких фреймворков AI, включая TensorFlow, PyTorch, ONNX и TensorRT, Triton обеспечивает бесшовное развёртывание в облачных средах, центрах обработки данных и на периферийных устройствах с минимальными изменениями.

Рис. 3. Обзор NVIDIA Triton Inference Server.

Вот некоторые ключевые преимущества NVIDIA Triton Inference Server:

• Автоматическая пакетная обработка: Triton объединяет несколько запросов AI перед их обработкой, сокращая задержки (латентность) и повышая скорость инференса (время, необходимое модели AI для формирования результатов).
• Интеграция с Kubernetes: Triton ориентирован на облачные среды, то есть бесшовно работает с Kubernetes (системой, которая помогает управлять и масштабировать AI-приложения на нескольких компьютерах или облачных серверах).
• Открытый исходный код и возможность настройки: разработчики могут адаптировать Triton под свои потребности, обеспечивая гибкость для широкого спектра AI-приложений.

Максимизация производительности AI с помощью NVIDIA TensorRT#

Если тебе нужно ещё больше ускорения, NVIDIA TensorRT — интересный вариант для оптимизации моделей AI. Гай Дахан пояснил, что TensorRT — это высокопроизводительный оптимизатор глубокого обучения, созданный для GPU NVIDIA. Модели из TensorFlow, PyTorch, ONNX и MXNet можно преобразовать с помощью TensorRT в высокоэффективные файлы, исполняемые на GPU.

Надёжность TensorRT обеспечивают оптимизации, специфичные для оборудования. Модель, оптимизированная для устройств Jetson, не будет столь же эффективно работать на других GPU, поскольку TensorRT точно настраивает производительность с учётом целевого оборудования. Тонко настроенная модель компьютерного зрения может увеличить скорость инференса до 36 раз по сравнению с неоптимизированными моделями.

Гай Дахан также обратил внимание на поддержку TensorRT в Ultralytics и рассказал о том, как она ускоряет и повышает эффективность развёртывания моделей AI. Модели Ultralytics YOLO можно напрямую экспортировать в формат TensorRT, что позволяет разработчикам оптимизировать их для GPU NVIDIA без каких-либо изменений.

DeepStream 7.0: набор инструментов для потоковой аналитики#

Завершая выступление на высокой ноте, Гай Дахан представил DeepStream 7.0 — фреймворк AI, предназначенный для обработки видео, аудио и данных с датчиков в реальном времени с использованием GPU NVIDIA. Созданный для поддержки высокоскоростных приложений компьютерного зрения, он обеспечивает обнаружение и отслеживание объектов, а также аналитику в автономных системах, системах безопасности, промышленной автоматизации и умных городах. Запуская AI непосредственно на периферийных устройствах, DeepStream устраняет зависимость от облака, снижая задержку и повышая эффективность.

Рис. 4. Изучение DeepStream 7.0 на YV24 с Гаем Даханом.

В частности, DeepStream может обрабатывать видео с AI от начала до конца. Он поддерживает сквозные рабочие процессы: от декодирования и предварительной обработки видео до инференса AI и постобработки.

Недавно в DeepStream появилось несколько обновлений, повышающих удобство и масштабируемость развёртывания AI. Новые инструменты упрощают разработку, улучшают отслеживание объектов с нескольких камер и оптимизируют конвейеры AI для повышения производительности.

Теперь разработчикам доступна расширенная поддержка сред Windows, улучшенные возможности объединения данных с датчиков из нескольких источников и готовые эталонные приложения для ускорения развёртывания. Эти улучшения делают DeepStream более гибким и эффективным решением для AI-приложений реального времени, помогая разработчикам легко масштабировать интеллектуальную аналитику видео.

Основные выводы#

Как было показано в программном докладе Гая Дахана на YV24, периферийный AI меняет представление о приложениях компьютерного зрения. Благодаря достижениям в аппаратном и программном обеспечении обработка в реальном времени становится быстрее, эффективнее и экономичнее.

По мере того как всё больше отраслей внедряют периферийный AI, решение таких проблем, как фрагментация и сложность развёртывания, станет ключом к раскрытию его полного потенциала. Внедрение этих инноваций будет способствовать созданию более интеллектуальных и отзывчивых AI-приложений, формируя будущее компьютерного зрения.

Стань частью нашего растущего сообщества! Изучи наш репозиторий на GitHub, чтобы узнать больше об AI, и ознакомься с нашими вариантами лицензирования, чтобы начать свои проекты в области AI для компьютерного зрения. Интересуешься такими инновациями, как AI в здравоохранении и компьютерное зрение в промышленном производстве? Посети наши страницы решений, чтобы узнать больше!