Запуск моделей Ultralytics YOLO на ИИ-ПК Intel с помощью OpenVINO

YOLO Vision 2024 (YV24), ежегодное гибридное мероприятие Ultralytics, собрало ИИ-энтузиастов, разработчиков и экспертов со всего мира для изучения последних инноваций в компьютерном зрении. YV24 стало отличной возможностью и площадкой для обсуждения новых прорывов. На мероприятии ключевые игроки индустрии ИИ представили свои последние разработки. Среди них была компания Intel, которая приняла участие в мероприятии с докладом о своем новом революционном AI PC и интеграции Intel OpenVINO с моделями Ultralytics YOLO, такими как Ultralytics YOLO11.

Доклад вели Adrian Boguszewski, соавтор датасета LandCover.ai и евангелист, обучающий разработчиков работе с инструментарием Intel OpenVINO, и Dmitriy Pastushenkov, евангелист AI PC с более чем 20-летним опытом работы в сфере промышленной автоматизации и ИИ. Во время мероприятия Адриан поделился своими впечатлениями: «Сегодняшнее мероприятие просто замечательное, не только потому, что Ultralytics выпустили новую версию YOLO, но и потому, что мы можем представить эту новую модель, работающую на нашем новом оборудовании, а также новую версию OpenVINO».

В этой статье мы рассмотрим основные моменты доклада Intel на YV24, углубившись в детали работы их AI PC, серии Intel Core Ultra 200V, и того, как они интегрируются с моделями Ultralytics YOLO с помощью инструментария OpenVINO. Давай начнем!

Link to this sectionПередовые технологии ИИ в 2024 году#

Дмитрий начал свое выступление с анализа ключевых различий между традиционным ИИ и генеративным ИИ. Основное внимание было уделено тому, как развиваются эти технологии и их варианты использования в 2024 году. Традиционные методы ИИ, такие как компьютерное зрение и обработка естественного языка, стали незаменимыми для задач, таких как оценка позы, обнаружение объектов и распознавание голоса. Генеративный ИИ, однако, представляет собой новую волну технологий ИИ, включающую такие приложения, как чат-боты, генерация текста в изображение, написание кода и даже преобразование текста в видео.

Рис 1. Адриан и Дмитрий из Intel на сцене YV24 обсуждают кейсы использования ИИ.

Дмитрий отметил разницу в масштабах между ними. Он объяснил, что, в то время как традиционные модели ИИ состоят из миллионов параметров, модели генеративного ИИ работают в гораздо большем масштабе. Генеративные модели ИИ зачастую включают в себя миллиарды или даже триллионы параметров, что делает их гораздо более вычислительно требовательными.

Link to this sectionIntel AI PC: новый рубеж аппаратного обеспечения для ИИ#

Дмитрий представил Intel AI PC как новое аппаратное решение, разработанное для решения растущих задач по эффективному запуску как традиционных, так и генеративных моделей ИИ. Intel AI PC — это мощная и энергоэффективная машина. Она способна запускать широкий спектр моделей ИИ локально, без необходимости облачной обработки.

Локальная обработка помогает сохранять конфиденциальность данных. Когда модели ИИ могут работать независимо от интернет-соединения, этические проблемы индустрии, касающиеся конфиденциальности и безопасности, находят свое решение.

Движущей силой Intel AI PC является процессор Intel Core Ultra 200V Series. Этот процессор объединяет три ключевых компонента: центральный процессор (CPU), графический процессор (GPU) и нейронный процессор (NPU). Каждый из них играет особую роль в обработке различных типов рабочих нагрузок ИИ. CPU идеально подходит для небольших задач с низкой задержкой, требующих быстрого отклика, в то время как GPU оптимизирован для высокопроизводительных операций, таких как запуск моделей ИИ. NPU, разработанный для энергоэффективности, хорошо подходит для длительных задач, например, обнаружения объектов в реальном времени с использованием таких моделей, как YOLO11.

Было отмечено, что CPU может обеспечивать до 5 TOPS (триллионов операций в секунду), GPU — до 67 TOPS, а NPU предоставляет энергоэффективный способ непрерывного выполнения задач ИИ без истощения ресурсов системы.

Link to this sectionДостижения Intel в области ИИ: Intel Core Ultra 200V series#

Процессор Intel Core Ultra 200V Series интегрирует все три движка ИИ — NPU, CPU и GPU — в одном компактном чипе. Его дизайн идеально подходит для компактных устройств, таких как ноутбуки, без ущерба для производительности.

Процессор также оснащен встроенной оперативной памятью, что исключает необходимость в отдельных видеокартах. Это помогает снизить энергопотребление и сохранить компактность устройства. Дмитрий также подчеркнул гибкость процессора. Пользователи могут сами решать, запускать модели ИИ на CPU, GPU или NPU, в зависимости от задачи. Например, обнаружение объектов с моделями YOLO11 может выполняться на любом из этих движков, в то время как более сложные задачи, такие как генерация изображения по тексту, могут использовать одновременно и GPU, и NPU для повышения производительности.

Во время презентации Дмитрий достал чип из кармана, давая всем четкое представление о том, насколько он на самом деле мал, несмотря на свою способность справляться с такими продвинутыми задачами ИИ. Это был забавный и запоминающийся способ показать, как Intel предоставляет мощные возможности ИИ для более портативных и практичных устройств.

Рис 2. Процессор Intel Core Ultra 200V может поместиться в кармане.

Link to this sectionОптимизация моделей ИИ с помощью Intel OpenVINO#

Продемонстрировав последние аппаратные достижения Intel, Дмитрий переключился на программный стек Intel, который поддерживает ИИ. Он представил OpenVINO, open-source фреймворк от Intel, разработанный для эффективной оптимизации и развертывания моделей ИИ на различных устройствах. OpenVINO выходит за рамки визуальных задач, расширяя свою поддержку на модели ИИ, используемые для обработки естественного языка, обработки аудио, трансформеров и т.д.

OpenVINO совместим с такими популярными платформами, как PyTorch, TensorFlow и ONNX, и разработчики могут легко внедрить его в свои рабочие процессы. Одной из ключевых функций, на которую он обратил внимание, была квантование. Квантование сжимает веса модели, чтобы уменьшить их размер, позволяя большим моделям плавно работать на локальных устройствах без использования облака. OpenVINO работает с несколькими фреймворками, запускаясь на CPU, GPU, NPU, FPGA или даже ARM-устройствах, и поддерживает Windows, Linux и macOS. Дмитрий также провел аудиторию через процесс того, насколько легко начать работу с OpenVINO.

Рис 3. Дмитрий показывает, как начать работу с OpenVINO.

Link to this sectionИнтеграция Ultralytics с Intel OpenVino#

Во второй части доклада слово перешло к Адриану, который объяснил бесшовную интеграцию между моделями Ultralytics YOLO и инструментарием Intel OpenVINO, упрощающую процесс развертывания моделей YOLO. Он пошагово объяснил, как экспорт модели YOLO с помощью Python-пакета Ultralytics в формат OpenVINO происходит быстро и просто. Эта интеграция значительно облегчает разработчикам задачу оптимизации моделей для оборудования Intel и получения максимальной отдачи от обеих платформ.

Рис 4. Адриан объясняет, как Ultralytics упрощает экспорт твоей модели в формат OpenVINO.

Адриан продемонстрировал, что как только модель Ultralytics YOLO обучена, ты можешь экспортировать ее с помощью нескольких простых флагов командной строки. Например, ты можешь указать, хочешь ли ты экспортировать модель в версии с плавающей запятой для максимальной точности или в квантованной версии для повышения скорости и эффективности. Он также подчеркнул, как разработчики могут управлять этим процессом напрямую через код, используя такие опции, как квантование INT8, чтобы улучшить производительность без существенной потери точности.

Link to this sectionИИ-демо в реальном времени на Intel AI PC#

Применяя всю эту теорию на практике, команда Intel представила демо обнаружения объектов в реальном времени, запустив YOLO11 на Intel AI PC. Адриан продемонстрировал, как система справляется с моделью на разных процессорах, достигая 36 кадров в секунду (FPS) на CPU с моделью с плавающей точкой, более 100 FPS на встроенном GPU и 70 FPS с INT8-квантованной версией. Они смогли показать, насколько эффективно Intel AI PC может управлять сложными задачами ИИ.

Он также отметил, что система может запускать модели параллельно, используя CPU, GPU и NPU вместе для задач, где все данные или кадры видео доступны заранее. Это полезно при обработке больших нагрузок, таких как видео. Система может распределять рабочую нагрузку между различными процессорами, делая процесс быстрее и эффективнее.

В завершение Адриан упомянул, что пользователи могут попробовать демо у себя дома, включая такие решения, как подсчет людей и интеллектуальное управление очередями. Затем он показал бонусное демо, где пользователи могли вводить промпты для генерации сказочных изображений в реальном времени на GPU. Это продемонстрировало универсальность Intel AI PC как для традиционных задач ИИ, так и для творческих генеративных проектов ИИ.

Link to this sectionОбнаружение объектов в реальном времени с Intel OpenVINO#

На мероприятии у Intel был стенд, где они демонстрировали работу обнаружения объектов в реальном времени с использованием YOLO11, запущенной на их Intel AI PC. Посетители могли увидеть модель в действии, оптимизированную с помощью OpenVINO и развернутую на процессоре Intel Core Ultra 200V.

Рис 5. Посетители имели возможность увидеть демо в реальном времени на стенде Intel OpenVINO.

На стенде Intel Дмитрий поделился: «Это мой первый раз на YOLO Vision, и я рад быть в Мадриде. Мы представляем модель YOLO11 от Ultralytics, работающую на процессоре Intel Core Ultra 200V. Она показывает отличную производительность, и мы используем OpenVINO для оптимизации и развертывания модели. Было очень легко сотрудничать с Ultralytics и запускать модель на новейшем оборудовании Intel, задействуя CPU, GPU и NPU». На стенде также проводились веселые розыгрыши подарков, таких как футболки и блокноты, которые посетители могли забрать с собой.

Link to this sectionОсновные выводы#

Технический доклад Intel на YV24, посвященный процессорам Intel Core Ultra 200V Series, продемонстрировал, как инструментарий OpenVINO оптимизирует модели ИИ, подобные Ultralytics YOLO11. Эта интеграция позволяет пользователям запускать модели YOLO непосредственно на своих устройствах, обеспечивая отличную производительность для задач компьютерного зрения, таких как обнаружение объектов. Ключевое преимущество заключается в том, что пользователям не нужно полагаться на облачные сервисы.

Разработчики и ИИ-энтузиасты могут без усилий запускать и настраивать модели YOLO, в полной мере используя аппаратное обеспечение, такое как CPU, GPU и NPU, для приложений реального времени. Инструментарий Intel OpenVINO в сочетании с моделями Ultralytics YOLO открывает новые возможности для внедрения передовых функций ИИ прямо на персональные устройства, что делает его идеальным выбором для разработчиков, стремящихся продвигать инновации ИИ в различных отраслях.

Давай сотрудничать и внедрять инновации! Посети наш GitHub-репозиторий, чтобы ознакомиться с нашими разработками и присоединиться к нашему сообществу. Посмотри, как мы используем ИИ для создания положительного влияния в таких отраслях, как производство и здравоохранение.