Ultralytics YOLO modellerini OpenVINO ile Intel'in AI PC cihazında çalıştırmak

Ultralytics'in yıllık hibrit etkinliği olan YOLO Vision 2024 (YV24), dünyanın dört bir yanından yapay zeka meraklılarını, geliştiricileri ve uzmanları bilgisayarlı görü alanındaki en son yenilikleri keşfetmeleri için bir araya getirdi. YV24, yeni atılımları tartışmak için harika bir fırsat ve platform oldu. Etkinlikte, yapay zeka sektörünün önde gelen isimleri en son yeniliklerini tanıttı. Bunlar arasında, çığır açan yeni yapay zeka bilgisayarlarını ve Intel OpenVINO’nun Ultralytics YOLO modelleri (örneğin Ultralytics YOLO11) ile entegrasyonunu sundukları bir açılış konuşmasıyla yer alan Intel de vardı.

The talk was led by Adrian Boguszewski, a Software Evangelist who co-authored the LandCover.ai dataset and educates developers about Intel’s OpenVINO toolkit, and Dmitriy Pastushenkov, an AI PC Evangelist with over 20 years of experience in industrial automation and AI. During the event, Adrian shared his excitement and said, "This is a great event today, not only because Ultralytics delivered a new YOLO version, but also because we are able to present this new model running on our new hardware, as well as a new version of OpenVINO."

Bu makalede, Intel'in YV24'teki konuşmasından öne çıkan başlıkları ele alacak, yapay zeka bilgisayarlarının (Intel Core Ultra 200V Serisi) detaylarına inecek ve OpenVINO araç setini kullanarak Ultralytics YOLO modelleriyle nasıl entegre olduklarını inceleyeceğiz. Hadi başlayalım!

Link to this section2024'te en ileri yapay zeka teknolojileri#

Dmitriy started off the keynote by diving into the key differences between traditional AI and generative AI. The focus revolved around how these technologies and their use cases are evolving in 2024. Traditional AI techniques like computer vision and natural language processing have been essential for tasks like pose estimation, object detection, and voice recognition. Generative AI, however, represents a newer wave of AI technology that involves applications such as chatbots, text-to-image generation, code writing, and even text-to-video.

Şekil 1. Intel'den Adrian ve Dmitriy, YV24'te sahnede yapay zeka kullanım durumlarını tartışıyor.

Dmitriy, ikisi arasındaki ölçek farkına dikkat çekti. Geleneksel yapay zeka modelleri milyonlarca parametreden oluşurken, üretken yapay zeka modellerinin çok daha büyük bir ölçekte çalıştığını açıkladı. Üretken yapay zeka modelleri genellikle milyarlarca hatta trilyonlarca parametre içerir, bu da onları hesaplama açısından çok daha talepkar hale getirir.

Link to this sectionIntel AI PC: Yeni bir yapay zeka donanımı sınırı#

Dmitriy, Intel AI PC'yi, hem geleneksel hem de üretken yapay zeka modellerini verimli bir şekilde çalıştırmanın artan zorluklarını ele almak için tasarlanmış yeni bir donanım çözümü olarak tanıttı. Intel AI PC, güçlü ve enerji verimliliği yüksek bir makinedir. Bulut tabanlı işleme ihtiyaç duymadan, çok çeşitli yapay zeka modellerini yerel olarak çalıştırabilir.

Yerel işleme, hassas verilerin gizli kalmasına yardımcı olur. Yapay zeka modelleri internet bağlantısından bağımsız çalışabildiğinde, sektörlerin gizlilik ve güvenliğe ilişkin etik kaygıları yanıt bulmuş olur.

The driving force behind the Intel AI PC is the Intel Core Ultra 200V Series processor. This processor incorporates three key components: the Central Processing Unit (CPU), Graphics Processing Unit (GPU), and Neural Processing Unit (NPU). Each plays a specific role in handling different types of AI workloads. The CPU is ideal for smaller, low-latency tasks that require quick responses, while the GPU is optimized for high-throughput operations like running AI models. The NPU, designed for power efficiency, is well-suited for long-running tasks like real-time object detection with models like YOLO11.

CPU'nun 5 TOPS'a (Saniyede Trilyonlarca İşlem), GPU'nun 67 TOPS'a kadar çıkabildiği ve NPU'nun sistem kaynaklarını tüketmeden sürekli olarak yapay zeka görevlerini çalıştırmak için enerji verimli bir yol sunduğu vurgulandı.

Link to this sectionIntel'in yapay zeka ilerlemeleri: Intel Core Ultra 200V serisi#

Intel Core Ultra 200V Serisi işlemci; NPU, CPU ve GPU olmak üzere üç yapay zeka motorunu tek bir küçük çipe entegre eder. Tasarımı, performanstan ödün vermeden dizüstü bilgisayarlar gibi kompakt cihazlar için mükemmel şekilde uygundur.

İşlemci ayrıca dahili RAM içerir, bu da ayrı grafik kartlarına olan ihtiyacı azaltır. Bu, güç kullanımını düşürmeye ve cihazı kompakt tutmaya yardımcı olur. Dmitriy ayrıca işlemcinin esnekliğini vurguladı. Kullanıcılar, göreve bağlı olarak yapay zeka modellerini CPU, GPU veya NPU üzerinde çalıştırmaya karar verebilirler. Örneğin, YOLO11 modelleriyle nesne algılama bu motorların herhangi birinde çalışabilirken, metinden görüntü oluşturma gibi daha karmaşık görevler, daha iyi performans için hem GPU'yu hem de NPU'yu aynı anda kullanabilir.

Sunum sırasında Dmitriy çipi cebinden çıkardı ve bu kadar gelişmiş yapay zeka görevlerini yerine getirebilmesine rağmen ne kadar küçük olduğunu herkese açıkça gösterdi. Intel'in güçlü yapay zeka yeteneklerini nasıl daha taşınabilir ve pratik cihazlara getirdiğini göstermenin eğlenceli ve akılda kalıcı bir yoluydu.

Şekil 2. Intel Core Ultra 200V İşlemci cebe sığabilir.

Link to this sectionYapay zeka modellerini Intel OpenVINO ile optimize etme#

Having showcased Intel's latest hardware advancements, Dmitriy then switched gears to Intel's software stack that supports AI. He introduced OpenVINO, Intel’s open-source framework designed to optimize and deploy AI models efficiently across different devices. OpenVINO goes beyond visual tasks, extending its support to AI models used for natural language processing, audio processing, transformers, etc.

OpenVINO; PyTorch, TensorFlow ve ONNX gibi popüler platformlarla uyumludur ve geliştiriciler bunu iş akışlarına kolayca dahil edebilirler. Dikkat çektiği önemli bir özellik nicemlemeydi (quantization). Nicemleme, büyük modellerin buluta ihtiyaç duymadan yerel cihazlarda sorunsuz çalışabilmesi için model ağırlıklarını sıkıştırarak boyutlarını küçültür. OpenVINO; CPU, GPU, NPU, FPGA ve hatta ARM cihazlarında çalışan çoklu çerçeveler arasında çalışır ve Windows, Linux ve macOS desteği sunar. Dmitriy ayrıca katılımcılara OpenVINO ile başlamanın ne kadar kolay olduğunu gösterdi.

Şekil 3. Dmitriy, OpenVINO ile nasıl başlanacağını anlatıyor.

Link to this sectionUltralytics'i Intel OpenVino ile entegre etme#

In the second part of the talk, the mic was passed to Adrian, who explained the seamless integration between Ultralytics YOLO models and Intel’s OpenVINO toolkit, simplifying the process of YOLO model deployment. He provided a step-by-step explanation of how exporting a YOLO model using the Ultralytics Python package to the OpenVINO format is quick and straightforward. This integration makes it much easier for developers to optimize their models for Intel hardware and get the most out of both platforms.

Şekil 4. Adrian, Ultralytics'in modelini OpenVINO formatına aktarmayı nasıl kolaylaştırdığını açıklıyor.

Adrian, bir Ultralytics YOLO modeli eğitildikten sonra kullanıcıların birkaç basit komut satırı bayrağı kullanarak modeli dışa aktarabileceğini gösterdi. Örneğin kullanıcılar, modeli maksimum hassasiyet için kayan noktalı (floating-point) bir sürüm olarak mı, yoksa daha iyi hız ve verimlilik için nicemlenmiş (quantized) bir sürüm olarak mı dışa aktarmak istediklerini belirleyebilirler. Ayrıca geliştiricilerin bu süreci doğrudan kod aracılığıyla, doğruluktan fazla ödün vermeden performansı artırmak için INT8 nicemleme gibi seçenekleri kullanarak nasıl yönetebileceklerini de vurguladı.

Link to this sectionIntel AI PC'de gerçek zamanlı yapay zeka demoları#

Tüm bu teoriyi pratiğe döken Intel ekibi, YOLO11 modelini Intel AI PC üzerinde çalıştırarak gerçek zamanlı bir nesne algılama demosu sundu. Adrian, sistemin modeli farklı işlemciler genelinde nasıl işlediğini gösterdi: CPU'da kayan noktalı bir modelle saniyede 36 kare (FPS), entegre GPU'da 100 FPS'nin üzerinde ve INT8 nicemlenmiş sürümle 70 FPS elde edildi. Intel AI PC'nin karmaşık yapay zeka görevlerini ne kadar verimli yönetebildiğini göstermeyi başardılar.

Ayrıca sistemin, verilerin veya video karelerinin tamamının önceden mevcut olduğu görevler için CPU, GPU ve NPU'yu birlikte kullanarak modelleri paralel çalıştırabileceğine dikkat çekti. Bu, videolar gibi ağır yükleri işlerken kullanışlıdır. Sistem, iş yükünü farklı işlemcilere bölerek daha hızlı ve verimli hale getirebilir.

To wrap up, Adrian mentioned that users could try out demos at home, including solutions like people counting and intelligent queue management. He then showed a bonus demo where users could enter prompts to generate dream-like images in real time on the GPU. It demonstrated the versatility of the Intel AI PC for both traditional AI tasks and creative, generative AI projects.

Link to this sectionIntel OpenVINO ile gerçek zamanlı nesne algılama#

Etkinlikte Intel'in, Intel AI PC üzerinde çalışan YOLO11 kullanarak gerçek zamanlı bir nesne algılama demosu sergilediği bir standı vardı. Katılımcılar, OpenVINO ile optimize edilmiş ve Intel Core Ultra 200V işlemci üzerinde konuşlandırılmış modelin çalışırken görme şansı buldu.

Şekil 5. Katılımcılar, Intel OpenVINO standında gerçek zamanlı bir demoyu izleme fırsatı buldular.

Intel standında Dmitriy şunları paylaştı: "Bu benim YOLO Vision'daki ilk seferim ve Madrid'de olmaktan mutluyum. Ultralytics'in Intel Core Ultra 200V işlemci üzerinde çalışan YOLO11 modelini sunuyoruz. Mükemmel bir performans sergiliyor ve modeli optimize edip dağıtmak için OpenVINO kullanıyoruz. Ultralytics ile iş birliği yapmak ve modeli CPU, GPU ve NPU'dan yararlanarak en son Intel donanımı üzerinde çalıştırmak çok kolaydı." Standda ayrıca katılımcıların eve götürebileceği tişörtler ve not defterleri gibi bazı eğlenceli hediyeler de vardı.

Link to this sectionÖne çıkanlar#

Intel'in YV24'teki, Intel Core Ultra 200V Serisi işlemcileri içeren teknoloji konuşması, OpenVINO araç setinin Ultralytics YOLO11 gibi yapay zeka modellerini nasıl optimize ettiğini sergiledi. Bu entegrasyon, kullanıcıların YOLO modellerini doğrudan cihazlarında çalıştırmalarını sağlayarak nesne algılama gibi bilgisayarlı görü görevleri için harika bir performans sunuyor. Temel avantaj, kullanıcıların bulut hizmetlerine güvenmek zorunda kalmamasıdır.

Geliştiriciler ve yapay zeka meraklıları, YOLO modellerini zahmetsizce çalıştırabilir ve ince ayar yapabilir, gerçek zamanlı uygulamalar için CPU, GPU ve NPU gibi donanımlardan tam olarak yararlanabilirler. Intel OpenVINO araç seti, Ultralytics YOLO modelleriyle birlikte, gelişmiş yapay zeka yeteneklerini doğrudan kişisel cihazlara getirmek için yeni olanaklar açıyor ve bu da onu çeşitli sektörlerde yapay zeka yeniliklerini teşvik etmek isteyen geliştiriciler için ideal bir seçenek haline getiriyor.

Let’s collaborate and innovate! Visit our GitHub repository to explore our contributions and engage with our community. See how we’re using AI to make an impact in industries like manufacturing and healthcare.