Запуск моделей Ultralytics YOLO на ИИ-ПК Intel с помощью OpenVINO

YOLO Vision 2024 (YV24), ежегодное гибридное мероприятие Ultralytics, собрало энтузиастов ИИ, разработчиков и экспертов со всего мира, чтобы изучить последние инновации в области computer vision. YV24 стала отличной возможностью и платформой для обсуждения новых прорывов. На мероприятии выступили ключевые игроки индустрии ИИ, представившие свои новейшие разработки. Среди них была компания Intel, которая приняла участие в мероприятии с основным докладом о своем новом революционном ИИ-ПК и интеграции Intel OpenVINO’s с Ultralytics YOLO models, такими как Ultralytics YOLO11.

Доклад провели Adrian Boguszewski, евангелист ПО, выступивший соавтором dataset LandCover.ai и рассказывающий разработчикам об инструменте OpenVINO от Intel, и Dmitriy Pastushenkov, евангелист ИИ-ПК с более чем 20-летним опытом работы в области industrial automation и ИИ. Во время мероприятия Адриан поделился своими впечатлениями и сказал: «Сегодня отличное мероприятие не только потому, что Ultralytics выпустила a new YOLO version, но и потому, что мы можем представить эту новую модель, работающую на нашем новом оборудовании, а также новую версию OpenVINO».

В этой статье мы рассмотрим главные моменты из Intel’s talk at YV24, углубившись в детали их ИИ-ПК (Intel Core Ultra 200V Series) и то, как они интегрируются с моделями Ultralytics YOLO с помощью инструментария OpenVINO. Давайте начнем!

Передовые технологии ИИ в 2024 году#

Дмитрий начал основной доклад с рассмотрения ключевых различий между традиционным ИИ и generative AI. Основное внимание уделялось тому, как эти технологии и сценарии их использования развиваются в 2024 году. Традиционные методы ИИ, такие как computer vision и natural language processing, стали основой для таких tasks, как pose estimation, object detection и voice recognition. Генеративный ИИ, однако, представляет собой новую волну технологий ИИ, которая включает в себя такие приложения, как chatbots, text-to-image generation, code writing и даже text-to-video.

Рис 1. Адриан и Дмитрий из Intel на сцене YV24 обсуждают кейсы использования ИИ.

Дмитрий указал на разницу в масштабе между ними. Он пояснил, что если traditional AI models состоят из миллионов параметров, то модели генеративного ИИ работают в гораздо больших масштабах. Generative AI models часто включают в себя миллиарды или даже триллионы параметров, что делает их гораздо более computationally demanding.

Intel AI PC: новый рубеж аппаратного обеспечения для ИИ#

Дмитрий представил Intel AI PC как новое аппаратное решение, разработанное для решения растущих задач по эффективному запуску как традиционных, так и генеративных моделей ИИ. Intel AI PC — это мощная и энергоэффективная машина. Она способна запускать широкий спектр моделей ИИ локально, без необходимости облачной обработки.

Локальная обработка помогает сохранять конфиденциальность чувствительных data private. Когда модели ИИ могут работать независимо от подключения к интернету, ethical concerns отраслей в отношении конфиденциальности и безопасности получают решение.

Движущей силой Intel AI PC является процессор Intel Core Ultra 200V Series. Этот процессор включает в себя три ключевых компонента: центральный процессор (CPU), графический процессор (GPU) и нейронный процессор (NPU). Каждый из них играет определенную роль в обработке различных типов рабочей нагрузки ИИ. CPU идеально подходит для небольших задач с низким временем отклика, требующих быстрых ответов, в то время как GPU оптимизирован для высокопроизводительных операций, таких как запуск моделей ИИ. NPU, разработанный для обеспечения энергоэффективности, отлично подходит для долго выполняющихся задач, таких как real-time object detection с такими моделями, как YOLO11.

Было отмечено, что CPU может обеспечивать до 5 TOPS (триллионов операций в секунду), GPU — до 67 TOPS, а NPU предоставляет энергоэффективный способ непрерывного выполнения задач ИИ без истощения ресурсов системы.

Достижения Intel в области ИИ: Intel Core Ultra 200V series#

Процессор Intel Core Ultra 200V Series интегрирует все три движка ИИ — NPU, CPU и GPU — в одном компактном чипе. Его дизайн идеально подходит для компактных устройств, таких как ноутбуки, без ущерба для производительности.

Процессор также оснащен встроенной оперативной памятью, что снижает потребность в отдельной видеокарте. Это помогает уменьшить энергопотребление и сохранить устройство компактным. Дмитрий также подчеркнул гибкость процессора. Пользователи могут решать, где запускать модели ИИ — на CPU, GPU или NPU, в зависимости от задачи. Например, object detection with YOLO11 models может выполняться на любом из этих движков, в то время как более сложные задачи, такие как генерация текста в изображение, могут использовать GPU и NPU одновременно для повышения производительности.

Во время презентации Дмитрий достал чип из кармана, давая всем четкое представление о том, насколько он на самом деле мал, несмотря на свою способность справляться с такими продвинутыми задачами ИИ. Это был забавный и запоминающийся способ показать, как Intel предоставляет мощные возможности ИИ для более портативных и практичных устройств.

Рис 2. Процессор Intel Core Ultra 200V может поместиться в кармане.

Оптимизация моделей ИИ с помощью Intel OpenVINO#

Продемонстрировав последние hardware advancements от Intel, Дмитрий переключился на программный стек Intel, поддерживающий ИИ. Он представил OpenVINO, open-source фреймворк от Intel, разработанный для того, чтобы optimize and deploy AI models эффективно на различных устройствах. OpenVINO выходит за рамки визуальных задач, распространяя свою поддержку на модели ИИ, используемые для обработки естественного языка, audio processing, transformers и т. д.

OpenVINO совместим с популярными платформами, такими как PyTorch, TensorFlow, и ONNX, и разработчики могут легко интегрировать его в свои рабочие процессы. Одной из ключевых особенностей, на которую он обратил внимание, является квантование. Quantization сжимает веса модели, чтобы уменьшить ее размер, благодаря чему крупные модели могут бесперебойно работать на локальных устройствах без необходимости использования облака. OpenVINO работает в нескольких фреймворках, на CPU, GPU, NPU, FPGA или даже на устройствах ARM, и поддерживает Windows, Linux и macOS. Дмитрий также показал аудитории, как легко начать работу с OpenVINO.

Рис 3. Дмитрий показывает, как начать работу с OpenVINO.

Интеграция Ultralytics с Intel OpenVino#

Во второй части доклада слово было передано Адриану, который объяснил бесшовную интеграцию между моделями Ultralytics YOLO и инструментарием OpenVINO от Intel, упрощающую процесс YOLO model deployment. Он пошагово объяснил, как exporting a YOLO model с помощью Ultralytics Python package в формат OpenVINO происходит быстро и просто. Эта интеграция значительно облегчает разработчикам оптимизацию моделей под железо Intel и извлечение максимальной пользы из обеих платформ.

Рис 4. Адриан объясняет, как Ultralytics упрощает экспорт твоей модели в формат OpenVINO.

Адриан продемонстрировал, что после того, как модель Ultralytics YOLO trained, пользователи могут экспортировать ее с помощью нескольких простых флагов командной строки. Например, пользователи могут указать, хотят ли они экспортировать модель в виде версии с плавающей запятой для максимальной precision или в виде квантованной версии для повышения скорости и эффективности. Он также подчеркнул, как разработчики могут управлять этим процессом directly through code, используя такие опции, как квантование INT8, для повышения performance без существенной потери точности.

ИИ-демо в реальном времени на Intel AI PC#

Применив всю эту теорию на практике, команда Intel представила демонстрацию обнаружения объектов в реальном времени, запустив YOLO11 на Intel AI PC. Адриан продемонстрировал, как система справляется с моделью на различных процессорах, достигая 36 кадров в секунду (FPS) на CPU с моделью в формате с плавающей запятой, более 100 FPS на встроенном GPU и 70 FPS с квантованной версией INT8. Они смогли наглядно показать, насколько эффективно Intel AI PC справляется со сложными задачами ИИ.

Он также отметил, что система может запускать модели параллельно, используя CPU, GPU и NPU вместе для задач, где все данные или кадры видео доступны заранее. Это полезно при обработке больших нагрузок, таких как видео. Система может распределять рабочую нагрузку между различными процессорами, делая процесс быстрее и эффективнее.

В заключение Адриан упомянул, что пользователи могут try out demos дома, включая solutions для people counting и intelligent queue management. Затем он показал bonus demo, в котором пользователи могли вводить промпты для генерации фантастических изображений в реальном времени на GPU. Это продемонстрировало универсальность Intel AI PC как для традиционных задач ИИ, так и для творческих проектов генеративного ИИ.

Обнаружение объектов в реальном времени с Intel OpenVINO#

На мероприятии у Intel был стенд, где они демонстрировали демо обнаружения объектов в реальном времени с использованием Ultralytics YOLO11, работающее на их Intel AI PC. Посетители смогли увидеть модель в действии, оптимизированную с помощью OpenVINO и развернутую на процессоре Intel Core Ultra 200V.

Рис 5. Посетители имели возможность увидеть демо в реальном времени на стенде Intel OpenVINO.

На стенде Intel Дмитрий поделился: «Это мой первый раз на YOLO Vision, и я рад быть в Мадриде. Мы представляем модель YOLO11 от Ultralytics, работающую на процессоре Intel Core Ultra 200V. Она показывает отличную производительность, и мы используем OpenVINO для оптимизации и развертывания модели. Было очень легко сотрудничать с Ultralytics и запускать модель на новейшем оборудовании Intel, задействуя CPU, GPU и NPU». На стенде также проводились веселые розыгрыши подарков, таких как футболки и блокноты, которые посетители могли забрать с собой.

Основные выводы#

Технический доклад Intel на YV24, посвященный процессорам Intel Core Ultra 200V Series, продемонстрировал, как инструментарий OpenVINO оптимизирует модели ИИ, подобные Ultralytics YOLO11. Эта интеграция позволяет пользователям запускать модели YOLO непосредственно на своих устройствах, обеспечивая отличную производительность для задач компьютерного зрения, таких как обнаружение объектов. Ключевое преимущество заключается в том, что пользователям не нужно полагаться на облачные сервисы.

Разработчики и ИИ-энтузиасты могут без усилий запускать и настраивать модели YOLO, в полной мере используя аппаратное обеспечение, такое как CPU, GPU и NPU, для приложений реального времени. Инструментарий Intel OpenVINO в сочетании с моделями Ultralytics YOLO открывает новые возможности для внедрения передовых функций ИИ прямо на персональные устройства, что делает его идеальным выбором для разработчиков, стремящихся продвигать инновации ИИ в различных отраслях.

Давайте сотрудничать и внедрять инновации! Посетите наш GitHub repository, чтобы ознакомиться с нашим вкладом и пообщаться с our community. Узнайте, как мы используем ИИ для создания изменений в таких отраслях, как manufacturing и healthcare.