4 февраля 2025 г.
Узнайте, как Edge AI и инновации NVIDIA, такие как Jetson, Triton и TensorRT, упрощают развертывание приложений компьютерного зрения.
Благодаря последним достижениям в области компьютерного зрения и искусственного интеллекта (ИИ) то, что раньше было лишь областью исследований, теперь находит применение в самых разных отраслях. От самоуправляемых автомобилей до медицинской визуализации и безопасности - системы компьютерного зрения решают реальные проблемы в масштабе.
Многие из этих приложений предполагают анализ изображений и видео в реальном времени, а использование облачных вычислений не всегда целесообразно из-за задержек, стоимости и соображений конфиденциальности. Пограничный ИИ - отличное решение в таких ситуациях. Запуская модели искусственного интеллекта Vision непосредственно на пограничных устройствах, компании могут обрабатывать данные быстрее, дешевле и с большей безопасностью, что делает искусственный интеллект в реальном времени более доступным.
На YOLO Vision 2024 (YV24), ежегодном гибридном мероприятии, проводимом Ultralytics, одной из центральных тем была демократизация Vision AI за счет более удобного и эффективного развертывания. Гай Дахан (Guy Dahan), старший архитектор решений в NVIDIA, рассказал о том, как аппаратные и программные решения NVIDIA, включая пограничные вычислительные устройства, серверы выводов, фреймворки оптимизации и SDK для развертывания ИИ, помогают разработчикам оптимизировать ИИ на границе.
В этой статье мы рассмотрим ключевые моменты из выступления Гая Дахана на YV24 и то, как последние инновации NVIDIA делают развертывание Vision AI более быстрым и масштабируемым.
Гай Дахан начал свое выступление с того, что с энтузиазмом отнесся к виртуальному участию в YV24 и выразил интерес к пакету Ultralytics Python и моделям Ultralytics YOLO, сказав: "Я использую Ultralytics со дня его выхода. Мне очень нравится Ultralytics - я использовал YOLOv5 еще до этого, и я настоящий энтузиаст этого пакета".
Затем он представил концепцию Edge AI, объяснив, что она предполагает выполнение вычислений ИИ непосредственно на устройствах, таких как камеры, дроны или промышленные машины, а не отправку данных на удаленные облачные серверы для обработки.
Вместо того чтобы ждать, пока изображения или видео будут загружены, проанализированы, а затем отправлены обратно с результатами, Edge AI позволяет анализировать данные мгновенно на самом устройстве. Это делает системы Vision AI более быстрыми, эффективными и менее зависимыми от подключения к Интернету. Edge AI особенно полезен для приложений, принимающих решения в режиме реального времени, таких как самоуправляемые автомобили, камеры безопасности и "умные" фабрики.
Представив Edge AI, Гай Дахан рассказал о его основных преимуществах, сделав акцент на эффективности, экономии средств и безопасности данных. Он объяснил, что одним из самых больших преимуществ является низкая задержка - поскольку модели ИИ обрабатывают данные непосредственно на устройстве, нет необходимости отправлять информацию в облако и ждать ответа.
Edge AI также помогает сократить расходы и защитить конфиденциальные данные. Отправка больших объемов данных в облако, особенно видеопотоков, может быть дорогостоящей. Однако локальная обработка данных позволяет сократить расходы на пропускную способность и хранение.
Еще одно ключевое преимущество - конфиденциальность данных, поскольку информация остается на устройстве, а не передается на внешний сервер. Это особенно важно для приложений в сфере здравоохранения, финансов и безопасности, где сохранение локальности и безопасности данных является главным приоритетом.
Основываясь на этих преимуществах, Гай Дахан прокомментировал растущее внедрение Edge AI. Он отметил, что с тех пор, как NVIDIA представила Jetson в 2014 году, его использование выросло в десять раз. Сегодня более 1,2 миллиона разработчиков работают с устройствами Jetson.
Затем Гай Дахан рассказал об устройствах NVIDIA Jetson- семействе устройств для вычислений на основе ИИ, созданных для обеспечения высокой производительности при низком энергопотреблении. Устройства Jetson идеально подходят для приложений компьютерного зрения в таких отраслях, как робототехника, сельское хозяйство, здравоохранение и промышленная автоматизация. "Jetson - это устройства Edge AI, специально созданные для ИИ. Я даже могу добавить, что изначально они были разработаны в основном для компьютерного зрения", - добавил Гай Дахан.
Устройства Jetson выпускаются на трех уровнях, каждый из которых подходит для разных нужд:
Также Гай Дахан рассказал о грядущей модели Jetson AGX Thor, которая выйдет на рынок в этом году, и сообщил, что ее производительность будет в восемь раз выше, чем у GPU (графический процессор), в два раза больше памяти и улучшенная производительность CPU (центральный процессор). Он специально разработан для гуманоидной робототехники и передовых приложений Edge AI.
Затем Гай Дахан перешел к обсуждению программной стороны Edge AI и объяснил, что даже при наличии мощного оборудования эффективное развертывание моделей может быть сопряжено с определенными трудностями.
Одним из самых больших препятствий является совместимость, поскольку разработчики ИИ часто работают с различными фреймворками ИИ, такими как PyTorch и TensorFlow. Перемещение между этими фреймворками может быть затруднено, что требует от разработчиков воссоздания окружения для обеспечения корректной работы.
Масштабируемость - еще одна ключевая проблема. Модели ИИ требуют значительных вычислительных мощностей, и, по словам Дахана, "еще не было компании, занимающейся ИИ, которая хотела бы иметь меньше вычислений". Расширение приложений ИИ на множество устройств может быстро стать дорогостоящим, что делает оптимизацию необходимой.
Кроме того, конвейеры ИИ сложны, часто включают в себя различные типы данных, обработку в реальном времени и системную интеграцию. Разработчики прикладывают много усилий, чтобы обеспечить беспрепятственное взаимодействие своих моделей с существующими программными экосистемами. Преодоление этих проблем - важнейшая часть повышения эффективности и масштабируемости развертывания ИИ.
Далее Гай Дахан обратил внимание на Triton Inference Server от NVIDIA. Он отметил, что многие компании и стартапы начинают разработку ИИ без полной оптимизации своих моделей. Переделка всего конвейера ИИ с нуля может быть разрушительной и отнимать много времени, что затрудняет эффективное масштабирование.
Вместо того чтобы полностью перестраивать систему, Triton позволяет разработчикам постепенно дорабатывать и оптимизировать рабочие процессы ИИ, интегрируя более эффективные компоненты, не ломая существующие настройки. Благодаря поддержке множества фреймворков ИИ, включая TensorFlow, PyTorch, ONNX и TensorRT, Triton обеспечивает бесшовное развертывание в облачных средах, центрах обработки данных и пограничных устройствах с минимальными изменениями.
Вот некоторые из ключевых преимуществ Triton Inference Server от NVIDIA:
Допустим, вам нужно еще большее ускорение; NVIDIA TensorRT - интересный вариант для оптимизации ваших моделей ИИ. Гай Дахан (Guy Dahan) рассказал, что TensorRT - это высокопроизводительный оптимизатор глубокого обучения, созданный для NVIDIA GPU. Модели из TensorFlow, PyTorch, ONNX и MXNet могут быть преобразованы в высокоэффективные GPU-исполняемые файлы с помощью TensorRT.
Надежность TensorRT обеспечивается за счет оптимизации под конкретное оборудование. Модель, оптимизированная для устройств Jetson, не будет работать так же эффективно на других GPU, потому что TensorRT точно настраивает производительность в зависимости от целевого оборудования. Тонкая настройка модели компьютерного зрения может привести к увеличению скорости вычислений в 36 раз по сравнению с неоптимизированными моделями.
Гай Дахан также обратил внимание на поддержку TensorRT в Ultralytics, рассказав о том, как она позволяет ускорить и повысить эффективность развертывания моделей ИИ. Модели Ultralytics YOLO могут быть напрямую экспортированы в формат TensorRT, что позволяет разработчикам оптимизировать их для графических процессоров NVIDIA без необходимости внесения каких-либо изменений.
Завершая выступление на высокой ноте, Гай Дахан продемонстрировал DeepStream 7.0 - фреймворк ИИ, предназначенный для обработки видео, аудио и сенсорных данных в реальном времени с помощью NVIDIA GPU. Созданный для поддержки высокоскоростных приложений компьютерного зрения, он позволяет обнаруживать, отслеживать и анализировать объекты в автономных системах, системах безопасности, промышленной автоматизации и умных городах. Запуская ИИ непосредственно на пограничных устройствах, DeepStream устраняет зависимость от облака, снижая задержки и повышая эффективность.
В частности, DeepStream может обрабатывать видео с помощью ИИ от начала и до конца. Он поддерживает сквозные рабочие процессы, от декодирования и предварительной обработки видео до выводов ИИ и постобработки.
Недавно компания DeepStream представила несколько обновлений для улучшения развертывания ИИ, делая его более доступным и масштабируемым. Новые инструменты упрощают разработку, улучшают слежение за несколькими камерами и оптимизируют конвейеры ИИ для повышения производительности.
Разработчики получили расширенную поддержку сред Windows, улучшенные возможности объединения датчиков для интеграции данных из нескольких источников, а также доступ к готовым эталонным приложениям для ускорения развертывания. Эти улучшения делают DeepStream более гибким и эффективным решением для приложений ИИ в реальном времени, помогая разработчикам с легкостью масштабировать интеллектуальную видеоаналитику.
Как было показано в докладе Гая Дахана на YV24, Edge AI переопределяет приложения компьютерного зрения. С развитием аппаратного и программного обеспечения обработка в реальном времени становится все быстрее, эффективнее и экономичнее.
По мере того как все больше отраслей будут внедрять Edge AI, решение таких проблем, как фрагментация и сложность развертывания, станет ключом к раскрытию его полного потенциала. Принятие этих инноваций приведет к созданию более умных и отзывчивых приложений ИИ, определяя будущее компьютерного зрения.
Станьте частью нашего растущего сообщества! Изучите наш репозиторий GitHub, чтобы узнать больше об искусственном интеллекте, и ознакомьтесь с нашими вариантами лицензирования для запуска ваших проектов Vision AI. Вам интересно узнать о таких инновациях, как ИИ в здравоохранении и компьютерное зрение в производстве? Посетите страницы наших решений, чтобы узнать больше!
.webp)
