OpenVINOを使用してIntelのAI PC上でUltralytics YOLOモデルを実行する

YOLO Vision 2024 (YV24), Ultralytics' annual hybrid event, brought together AI enthusiasts, developers, and experts from around the world to explore the latest innovations in computer vision. YV24 was a great opportunity and platform to discuss new breakthroughs. The event featured key players in the AI industry introducing their latest innovations. Among them was Intel, who took part in the event presenting a keynote on their new groundbreaking AI PC and Intel OpenVINO’s integration with Ultralytics YOLO models like Ultralytics YOLO11.

The talk was led by Adrian Boguszewski, a Software Evangelist who co-authored the LandCover.ai dataset and educates developers about Intel’s OpenVINO toolkit, and Dmitriy Pastushenkov, an AI PC Evangelist with over 20 years of experience in industrial automation and AI. During the event, Adrian shared his excitement and said, "This is a great event today, not only because Ultralytics delivered a new YOLO version, but also because we are able to present this new model running on our new hardware, as well as a new version of OpenVINO."

本記事では、YV24におけるIntelの講演から重要なハイライトを振り返り、彼らのAI PCであるIntel Core Ultra 200Vシリーズの詳細と、OpenVINOツールキットを使用してUltralytics YOLOモデルを統合する方法について掘り下げます。それでは始めましょう！

Link to this section2024年の最先端AI技術#

Dmitriy started off the keynote by diving into the key differences between traditional AI and generative AI. The focus revolved around how these technologies and their use cases are evolving in 2024. Traditional AI techniques like computer vision and natural language processing have been essential for tasks like pose estimation, object detection, and voice recognition. Generative AI, however, represents a newer wave of AI technology that involves applications such as chatbots, text-to-image generation, code writing, and even text-to-video.

図1：YV24のステージでAIのユースケースについて議論するIntelのAdrian氏とDmitriy氏。

Dmitriy氏は、両者のスケールの違いを指摘しました。従来のAIモデルが数百万のパラメータで構成されるのに対し、生成AIモデルははるかに大規模に動作すると彼は説明しました。生成AIモデルは多くの場合、数十億から数兆ものパラメータを扱い、計算リソースに対する要求がはるかに高くなっています。

Link to this sectionIntel AI PC：新しいAIハードウェアの最前線#

Dmitriy氏は、従来のAIモデルと生成AIモデルの両方を効率的に実行するという高まる課題に対処するために設計された新しいハードウェアソリューションとして、Intel AI PCを紹介しました。Intel AI PCは、パワフルでエネルギー効率の高いマシンです。クラウドベースの処理を必要とせず、幅広いAIモデルをローカルで実行可能です。

ローカル処理は、機密性の高いデータプライバシーの維持に役立ちます。AIモデルがインターネット接続から独立して動作できるようになれば、プライバシーとセキュリティに関する産業界の倫理的な懸念を解消できます。

The driving force behind the Intel AI PC is the Intel Core Ultra 200V Series processor. This processor incorporates three key components: the Central Processing Unit (CPU), Graphics Processing Unit (GPU), and Neural Processing Unit (NPU). Each plays a specific role in handling different types of AI workloads. The CPU is ideal for smaller, low-latency tasks that require quick responses, while the GPU is optimized for high-throughput operations like running AI models. The NPU, designed for power efficiency, is well-suited for long-running tasks like real-time object detection with models like YOLO11.

CPUは最大5 TOPS（1秒あたりのテラ演算数）、GPUは最大67 TOPSを発揮し、NPUはシステムリソースを消費することなく継続的にAIタスクを実行するエネルギー効率の高い手段を提供することが強調されました。

Link to this sectionIntelのAIの進歩：Intel Core Ultra 200Vシリーズ#

Intel Core Ultra 200Vシリーズプロセッサは、NPU、CPU、GPUという3つのAIエンジンをすべて1つの小さなチップに統合しています。その設計は、パフォーマンスを犠牲にすることなく、ノートブックのようなコンパクトなデバイスに最適化されています。

このプロセッサにはRAMも内蔵されており、個別のグラフィックスカードの必要性を減らしています。これは消費電力の削減とデバイスのコンパクト化に貢献します。Dmitriy氏は、プロセッサの柔軟性も強調しました。ユーザーはタスクに応じて、AIモデルをCPU、GPU、NPUのどこで実行するかを決定できます。例えば、YOLO11モデルによる物体検出はこれらのエンジンのいずれでも実行可能ですが、テキストから画像への生成のようなより複雑なタスクでは、GPUとNPUを同時に使用してパフォーマンスを向上させることができます。

プレゼンテーション中、Dmitriy氏はポケットからチップを取り出し、高度なAIタスクを処理できるにもかかわらず、どれほど小さいかを聴衆に明確に示しました。これは、Intelがどのようにして強力なAI機能をよりポータブルで実用的なデバイスにもたらしているかを示す、楽しく記憶に残る方法でした。

図2：ポケットに入るIntel Core Ultra 200Vプロセッサ。

Link to this sectionIntel OpenVINOによるAIモデルの最適化#

Having showcased Intel's latest hardware advancements, Dmitriy then switched gears to Intel's software stack that supports AI. He introduced OpenVINO, Intel’s open-source framework designed to optimize and deploy AI models efficiently across different devices. OpenVINO goes beyond visual tasks, extending its support to AI models used for natural language processing, audio processing, transformers, etc.

OpenVINOはPyTorch、TensorFlow、ONNXなどの人気のあるプラットフォームと互換性があり、開発者は簡単に自身のワークフローに組み込むことができます。彼が注目したのは量子化という重要な機能です。量子化はモデルの重みを圧縮してサイズを小さくし、クラウドを必要とせずに大規模モデルをローカルデバイスでスムーズに実行できるようにするものです。OpenVINOは複数のフレームワークに対応し、CPU、GPU、NPU、FPGA、さらにはARMデバイスでも実行可能で、Windows、Linux、macOSをサポートしています。Dmitriy氏はまた、OpenVINOを始めるのがいかに簡単かを聴衆に実演しました。

図3：OpenVINOの始め方を実演するDmitriy氏。

Link to this sectionUltralyticsとIntel OpenVINOの統合#

In the second part of the talk, the mic was passed to Adrian, who explained the seamless integration between Ultralytics YOLO models and Intel’s OpenVINO toolkit, simplifying the process of YOLO model deployment. He provided a step-by-step explanation of how exporting a YOLO model using the Ultralytics Python package to the OpenVINO format is quick and straightforward. This integration makes it much easier for developers to optimize their models for Intel hardware and get the most out of both platforms.

図4：Ultralyticsを使用してモデルを簡単にOpenVINO形式にエクスポートできることを解説するAdrian氏。

Adrian氏は、Ultralytics YOLOモデルが学習された後、ユーザーがいくつかのシンプルなコマンドラインフラグを使用してエクスポートできることを実演しました。例えば、ユーザーはモデルを最大限の精度のために浮動小数点バージョンとしてエクスポートするか、速度と効率のために量子化バージョンとしてエクスポートするかを指定できます。彼はまた、開発者がコードから直接このプロセスを管理する方法を強調し、INT8量子化のようなオプションを使用して、精度を大きく犠牲にすることなくパフォーマンスを向上させる方法を示しました。

Link to this sectionIntel AI PCでのリアルタイムAIデモ#

理論を実践に移すため、IntelチームはIntel AI PC上でYOLO11を実行するリアルタイム物体検出デモを披露しました。Adrian氏は、システムがどのように異なるプロセッサ間でモデルを処理するかを実演し、浮動小数点モデルでCPUで36 FPS、統合GPUで100 FPS以上、INT8量子化バージョンで70 FPSを達成しました。彼らは、Intel AI PCがいかに効率的に複雑なAIタスクを管理できるかを実証しました。

彼はまた、システムがCPU、GPU、NPUを組み合わせて並列にモデルを実行し、データやビデオフレームが事前に利用可能なタスクを処理できる点も指摘しました。これは動画などの負荷の高い処理を行う際に便利です。システムはワークロードを異なるプロセッサ間で分散できるため、より高速かつ効率的になります。

To wrap up, Adrian mentioned that users could try out demos at home, including solutions like people counting and intelligent queue management. He then showed a bonus demo where users could enter prompts to generate dream-like images in real time on the GPU. It demonstrated the versatility of the Intel AI PC for both traditional AI tasks and creative, generative AI projects.

Link to this sectionIntel OpenVINOによるリアルタイム物体検出#

イベント中、IntelはブースでIntel AI PC上で実行されるYOLO11を使用したリアルタイム物体検出デモを展示しました。参加者は、OpenVINOで最適化され、Intel Core Ultra 200Vプロセッサにデプロイされたモデルが動作する様子を直接見ることができました。

図5：Intel OpenVINOブースでリアルタイムデモを見学する参加者。

Intelのブースで、Dmitriy氏は次のように語りました。「今回が初めてのYOLO Visionであり、マドリッドに来られて嬉しいです。我々はUltralyticsのYOLO11モデルをIntel Core Ultra 200Vプロセッサ上で動かすデモを行っています。素晴らしいパフォーマンスを発揮しており、OpenVINOを使ってモデルを最適化・デプロイしています。Ultralyticsと協力し、最新のIntelハードウェア上でCPU、GPU、NPUを活用してモデルを実行するのは非常に簡単でした。」ブースでは、参加者へのTシャツやノートのプレゼントなどの楽しい企画も行われました。

Link to this section重要なポイント#

Intel Core Ultra 200Vシリーズプロセッサを搭載したYV24でのIntelの技術講演では、OpenVINOツールキットがいかにしてUltralytics YOLO11のようなAIモデルを最適化するかが示されました。この統合により、ユーザーはYOLOモデルをデバイス上で直接実行でき、物体検出のようなコンピュータビジョンタスクで優れたパフォーマンスを実現できます。最大の利点は、ユーザーがクラウドサービスに依存する必要がないことです。

開発者やAI愛好家は、CPU、GPU、NPUといったハードウェアをフル活用して、YOLOモデルを簡単に実行および微調整し、リアルタイムアプリケーションに組み込むことができます。Intel OpenVINOツールキットとUltralytics YOLOモデルの組み合わせは、高度なAI機能を個人用デバイスにもたらす新たな可能性を切り拓き、さまざまな業界でAIイノベーションを推進したい開発者にとって理想的な選択肢となります。

共に協力し、イノベーションを起こしましょう！GitHubリポジトリにアクセスして貢献状況を確認し、コミュニティにご参加ください。製造やヘルスケアなどの業界で、私たちがどのようにAIを活用して影響を与えているかをご覧ください。