Развертывание приложений компьютерного зрения на устройствах Edge AI

Благодаря недавним достижениям в области компьютерного зрения и искусственного интеллекта (AI) область, которая раньше была лишь предметом исследований, теперь лежит в основе важных решений для самых разных отраслей. От беспилотных автомобилей до медицинской визуализации и систем безопасности — системы компьютерного зрения решают реальные задачи в широких масштабах.

Многие такие приложения предполагают анализ изображений и видео в реальном времени, а облачные вычисления не всегда практичны из-за задержек, затрат и проблем с конфиденциальностью. В таких ситуациях отличным решением становится ИИ на периферии. Запуская модели ИИ для компьютерного зрения непосредственно на периферийных устройствах, компании могут обрабатывать данные быстрее, дешевле и безопаснее, делая ИИ в реальном времени доступнее.

На YOLO Vision 2024 (YV24) — ежегодном гибридном мероприятии Ultralytics — одной из главных тем стала демократизация ИИ для компьютерного зрения за счёт упрощения и повышения эффективности развёртывания. Гай Дахан, старший архитектор решений в NVIDIA, рассказал, как аппаратные и программные решения NVIDIA, включая периферийные вычислительные устройства, серверы инференса, фреймворки оптимизации и SDK для развёртывания ИИ, помогают разработчикам оптимизировать ИИ на периферии.

В этой статье мы рассмотрим основные выводы из ключевого доклада Гая Дахана на YV24 и узнаем, как последние инновации NVIDIA ускоряют развёртывание ИИ для компьютерного зрения и делают его более масштабируемым.

Что такое ИИ на периферии?#

Гай Дахан начал выступление, выразив радость по поводу виртуального участия в YV24 и интерес к пакету Ultralytics для Python и моделям YOLO: «Я пользуюсь Ultralytics с самого выхода пакета. Мне очень нравится Ultralytics: я пользовался YOLOv5 даже до этого, и я настоящий поклонник этого пакета».

Затем он представил концепцию ИИ на периферии и объяснил, что она предполагает выполнение вычислений ИИ непосредственно на устройствах, таких как камеры, дроны и промышленные машины, а не отправку данных на удалённые облачные серверы для обработки.

Вместо того чтобы ждать, пока изображения или видео загрузятся, будут проанализированы и вернутся с результатами, ИИ на периферии позволяет мгновенно анализировать данные на самом устройстве. Благодаря этому системы ИИ для компьютерного зрения работают быстрее и эффективнее и меньше зависят от подключения к интернету. ИИ на периферии особенно полезен для приложений, которым нужно принимать решения в реальном времени, например для беспилотных автомобилей, камер безопасности и умных заводов.

Ключевые преимущества ИИ на периферии#

Представив ИИ на периферии, Гай Дахан выделил его основные преимущества: эффективность, экономию средств и безопасность данных. Он объяснил, что одно из главных преимуществ — низкая задержка: поскольку модели ИИ обрабатывают данные непосредственно на устройстве, отправлять информацию в облако и ждать ответа не нужно.

ИИ на периферии также помогает сокращать расходы и защищать конфиденциальные данные. Передача больших объёмов данных в облако, особенно видеопотоков, может обходиться дорого. Однако локальная обработка снижает расходы на пропускную способность и хранение данных.

Ещё одно важное преимущество — конфиденциальность данных: информация остаётся на устройстве, а не передаётся на внешний сервер. Это особенно важно для приложений в здравоохранении, финансах и безопасности, где первостепенное значение имеют локальное хранение и защита данных.

Рис. 1. Гай Дахан удалённо рассказывает на YV24 о преимуществах ИИ на периферии.

Говоря об этих преимуществах, Гай Дахан отметил, что ИИ на периферии всё шире внедряется. По его словам, с момента выхода NVIDIA Jetson в 2014 году его использование выросло в десять раз. Сегодня с устройствами Jetson работают более 1,2 миллиона разработчиков.

Обзор NVIDIA Jetson — устройства для ИИ на периферии#

Затем Гай Дахан рассказал об устройствах NVIDIA Jetson — семействе устройств для периферийных вычислений ИИ, созданных для высокой производительности при низком энергопотреблении. Устройства Jetson идеально подходят для приложений компьютерного зрения в таких областях, как робототехника, сельское хозяйство, здравоохранение и промышленная автоматизация. «Jetson — это устройства для ИИ на периферии, специально созданные для ИИ. Я бы даже добавил, что изначально они предназначались в основном для компьютерного зрения», — добавил Гай Дахан.

Устройства Jetson представлены в трех категориях, каждая из которых подходит для разных задач:

• Начальный уровень: Эти устройства обеспечивают производительность ИИ в 20–40 триллионов операций в секунду (TOPS) при энергопотреблении 10–15 Вт, что делает их доступным решением для периферийных приложений.
• Основной сегмент: баланс между производительностью и эффективностью — 70–200 TOPS при энергопотреблении 20–40 Вт. Подходит для ИИ-нагрузок среднего уровня.
• Высокая производительность: до 275 TOPS при энергопотреблении 60–75 Вт. Предназначены для ресурсоемких ИИ-приложений, например робототехники и автоматизации.

Кроме того, Guy Dahan рассказал о готовящемся к выпуску в этом году Jetson AGX Thor и отметил, что его производительность GPU (графического процессора) будет в восемь раз выше, объем памяти — вдвое больше, а производительность CPU (центрального процессора) также улучшится. Устройство специально разработано для гуманоидной робототехники и передовых периферийных ИИ-приложений.

Проблемы, связанные с развертыванием моделей компьютерного зрения#

Затем Guy Dahan перешел к обсуждению программной стороны Edge AI и объяснил, что даже при наличии мощного оборудования эффективное развертывание моделей может быть сложной задачей.

Одно из главных препятствий — совместимость: разработчики ИИ часто работают с разными фреймворками ИИ, например PyTorch и TensorFlow. Переход между такими фреймворками может быть затруднен: разработчикам приходится заново создавать окружения, чтобы убедиться, что все работает правильно.

Еще одна важная проблема — масштабируемость. Для работы моделей ИИ требуются значительные вычислительные ресурсы, и, как выразился Dahan: «Еще не было ни одной ИИ-компании, которой требовалось бы меньше вычислительных ресурсов». Расширение ИИ-приложений на множество устройств может быстро стать дорогостоящим, поэтому оптимизация крайне важна.

Кроме того, конвейеры ИИ сложны: они часто включают разные типы данных, обработку в реальном времени и интеграцию систем. Разработчики прилагают немало усилий, чтобы их модели бесперебойно работали в существующих программных экосистемах. Решение этих задач играет важную роль в повышении эффективности и масштабируемости развертывания ИИ.

Рис. 2. Проблемы развертывания моделей.

Упрощение развертывания с помощью NVIDIA Triton Inference Server#

Затем Guy Dahan обратил внимание на Triton Inference Server от NVIDIA. Он отметил, что многие компании и стартапы начинают разработку ИИ, не оптимизировав модели в полной мере. Переработка всего конвейера ИИ с нуля может нарушить рабочие процессы и занять много времени, из-за чего эффективное масштабирование становится сложной задачей.

Вместо полной перестройки системы Triton позволяет разработчикам постепенно совершенствовать и оптимизировать рабочие процессы ИИ, добавляя более эффективные компоненты без нарушения существующей конфигурации. Благодаря поддержке нескольких фреймворков ИИ, включая TensorFlow, PyTorch, ONNX и TensorRT, Triton позволяет развертывать модели в облачных средах, центрах обработки данных и на периферийных устройствах, требуя минимальных изменений.

Рис. 3. Обзор NVIDIA Triton Inference Server.

Вот некоторые ключевые преимущества NVIDIA Triton Inference Server:

• Автоматическое пакетирование: Triton группирует несколько запросов к ИИ перед обработкой, повышая пропускную способность и загрузку GPU.
• Интеграция с Kubernetes: Triton создан для облачных сред и интегрируется с Kubernetes — системой для управления и масштабирования приложений ИИ на нескольких компьютерах или облачных серверах.
• Открытый исходный код и возможность настройки: разработчики могут адаптировать Triton под свои задачи, обеспечивая гибкость для самых разных ИИ-приложений.

Максимальная производительность ИИ с помощью NVIDIA TensorRT#

Если тебе нужно еще сильнее ускорить работу, NVIDIA TensorRT — интересный вариант для оптимизации моделей ИИ. Guy Dahan пояснил, что TensorRT — это высокопроизводительный оптимизатор глубокого обучения для GPU NVIDIA. С помощью TensorRT модели TensorFlow, PyTorch, ONNX и MXNet можно преобразовать в высокоэффективные файлы, исполняемые на GPU.

Надежность TensorRT обеспечивают оптимизации, учитывающие особенности оборудования. Модель, оптимизированная для устройств Jetson, не будет столь же эффективно работать на других GPU, поскольку TensorRT точно настраивает производительность под целевое оборудование. По данным NVIDIA, TensorRT может ускорить инференс до 36 раз по сравнению с платформами, использующими только CPU.

Гай Дахан также отметил поддержку TensorRT в Ultralytics и рассказал, как она ускоряет и повышает эффективность развертывания моделей ИИ. Модели Ultralytics YOLO можно напрямую экспортировать в формат TensorRT, чтобы разработчики могли оптимизировать их для GPU NVIDIA без каких-либо изменений.

DeepStream 7.0: инструментарий потоковой аналитики#

В завершение выступления Guy Dahan представил DeepStream 7.0 — фреймворк ИИ для обработки видео, аудио и данных датчиков в реальном времени с помощью GPU NVIDIA. Он создан для высокоскоростных приложений компьютерного зрения и обеспечивает обнаружение и отслеживание объектов, а также аналитику в автономных системах, системах безопасности, промышленной автоматизации и умных городах. Запуская ИИ непосредственно на периферийных устройствах, DeepStream устраняет зависимость от облака, сокращая задержки и повышая эффективность.

Рис. 4. Знакомство с DeepStream 7.0 на YV24 вместе с Guy Dahan.

DeepStream способен выполнять обработку видео с помощью ИИ от начала до конца. Он поддерживает сквозные рабочие процессы: от декодирования и предварительной обработки видео до инференса ИИ и постобработки.

Недавно в DeepStream появились обновления, упрощающие и масштабируемые развертывания ИИ. Новые инструменты упрощают разработку, улучшают отслеживание объектов с нескольких камер и оптимизируют конвейеры ИИ для повышения производительности.

Теперь разработчикам доступна расширенная поддержка сред Windows, улучшенные возможности объединения данных датчиков из разных источников и готовые эталонные приложения, ускоряющие развертывание. Благодаря этим улучшениям DeepStream стал более гибким и эффективным решением для ИИ-приложений реального времени, помогая разработчикам легко масштабировать интеллектуальную видеоаналитику.

Главные выводы#

Как показал доклад Guy Dahan на YV24, Edge AI меняет подход к приложениям компьютерного зрения. Благодаря развитию оборудования и программного обеспечения обработка в реальном времени становится быстрее, эффективнее и экономичнее.

По мере внедрения Edge AI в новых отраслях для раскрытия всего потенциала этой технологии важно решать такие проблемы, как фрагментация и сложность развертывания. Внедрение этих инноваций позволит создавать более интеллектуальные и отзывчивые ИИ-приложения, формируя будущее компьютерного зрения.

Стань частью нашего растущего сообщества! Загляни в наш репозиторий на GitHub, чтобы узнать больше об ИИ, и ознакомься с вариантами лицензирования, чтобы начать работу над проектами в области визуального ИИ. Интересуешься инновациями, например ИИ в здравоохранении и компьютерным зрением в производстве? Посети страницы наших решений, чтобы узнать больше!