Ultralytics YOLO11 ile el anahtar noktası tahminini geliştirme

Son zamanlarda, Super Bowl'daki işaret dili tercümanları büyük ilgi gördü. En sevdiğiniz sanatçının şarkısını televizyonda söylediklerini izlediğinizde, işaret dilini biliyorsanız onları anlayabilirsiniz çünkü beyniniz el hareketlerini işler. Peki ya bir bilgisayar aynısını yapabilseydi? Yapay zeka güdümlü el izleme çözümleri sayesinde, makinelerin el hareketlerini etkileyici bir doğrulukla izlemesi ve yorumlaması mümkün.

Bu çözümlerin özünde, makinelerin görsel bilgileri işlemesini ve anlamasını sağlayan bir yapay zeka alt alanı olan bilgisayarlı görü yer almaktadır. Görüntüleri ve videoları analiz ederek, Görüntü İşleme Yapay Zekası, nesneleri algılamalarına, hareketleri izlemelerine ve karmaşık hareketleri olağanüstü bir doğrulukla tanımalarına yardımcı olur.

Örneğin, Ultralytics YOLO11 gibi bilgisayarlı görü modelleri, poz tahmini kullanılarak el anahtar noktalarını gerçek zamanlı olarak tespit etmek ve analiz etmek için eğitilebilir. Bunu yaparak, bu modeller jest tanıma, işaret dili çevirisi ve AR/VR etkileşimleri gibi uygulamalar için kullanılabilir. 

Bu makalede, YOLO11'in yapay zeka tabanlı el takibini nasıl sağladığını, eğitim için kullanılan veri kümelerini ve el pozisyonu tahmini için bir modelin nasıl özel olarak eğitilebileceğini inceleyeceğiz. Ayrıca gerçek dünya uygulamalarına da göz atacağız. Hadi başlayalım!

Yapay Zeka tabanlı el anahtar noktaları tespitini anlama

Yapay zeka, bilek, parmak uçları ve parmak eklemleri gibi kilit noktaları belirleyerek görsel verilerdeki el hareketlerini tanımak ve izlemek için kullanılabilir. Poz tahmini olarak bilinen bir yaklaşım, kilit noktaları haritalayarak ve bunların zaman içinde nasıl değiştiğini analiz ederek bilgisayarların insan hareketini anlamasına yardımcı olur. Bu, yapay zeka sistemlerinin vücut duruşunu, hareketleri ve hareket kalıplarını yüksek doğrulukla yorumlamasını sağlar.

Bilgisayarlı görü modelleri, el üzerindeki kilit noktaları belirlemek ve hareketlerini izlemek için görüntüleri veya videoları analiz ederek bunu mümkün kılar. Bu noktalar haritalandıktan sonra, yapay zeka, kilit noktalar arasındaki uzamsal ilişkileri ve bunların zaman içinde nasıl değiştiğini analiz ederek hareketleri tanıyabilir. 

Örneğin, başparmak ve işaret parmağı arasındaki mesafe azaldığında, yapay zeka bunu bir tutma hareketi olarak yorumlayabilir. Benzer şekilde, kilit noktaların diziler halinde nasıl hareket ettiğini izlemek, karmaşık el hareketlerini tanımlamaya ve hatta gelecekteki hareketleri tahmin etmeye yardımcı olur.

‍

İlginç bir şekilde, el takibi için poz tahmini, akıllı cihazların eller serbest kontrolünden, gelişmiş robotik hassasiyete ve sağlık uygulamalarında yardıma kadar heyecan verici olasılıklar sunmuştur. Yapay zeka ve bilgisayarlı görü gelişmeye devam ettikçe, el takibi teknolojiyi günlük hayatta daha etkileşimli, erişilebilir ve sezgisel hale getirmede daha büyük bir rol oynayacaktır.

Poz tahmini için YOLO11'i keşfetme

Yapay zeka tabanlı el takibi için bir çözüm oluşturmaya nasıl başlanacağına dalmadan önce, poz tahmini ve YOLO11'in bu bilgisayarlı görü görevini nasıl desteklediğine daha yakından bakalım. Tüm nesneleri tanımlayan standart nesne tespitinden farklı olarak, poz tahmini, hareket ve duruşu analiz etmek için eklemler, uzuvlar veya kenarlar gibi temel noktalara odaklanır. 

Özellikle, Ultralytics YOLO11, gerçek zamanlı poz tahmini için tasarlanmıştır. Hem yukarıdan aşağıya hem de aşağıdan yukarıya yöntemleri kullanarak, insanları verimli bir şekilde algılar ve temel noktaları tek adımda tahmin ederek, hız ve doğruluk açısından önceki modellerden daha iyi performans gösterir.

YOLO11, kullanıma hazır olarak COCO-Pose veri kümesi üzerinde önceden eğitilmiş olarak gelir ve baş, omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bilekleri dahil olmak üzere insan vücudundaki kilit noktaları tanıyabilir. 

‍

YOLO11, insan pozu tahmininin ötesinde, canlı ve cansız çeşitli nesneler üzerindeki kilit noktaları tespit etmek için özel olarak eğitilebilir. Bu esneklik, YOLO11'i çok çeşitli uygulamalar için harika bir seçenek haline getirir.

El Anahtar Noktaları veri kümesine genel bakış

Özel bir model eğitmenin ilk adımı, veri toplamak ve bunları etiketlemek veya projenin ihtiyaçlarına uygun mevcut bir veri kümesi bulmaktır. Örneğin, El Anahtar Noktaları veri kümesi, el takibi ve poz tahmini için Vision AI modellerini eğitmek için iyi bir başlangıç noktasıdır. 26.768 etiketli görüntü ile manuel etiketleme ihtiyacını ortadan kaldırır. 

Ultralytics YOLO11 gibi modelleri, el hareketlerini nasıl tespit edip izleyeceklerini hızlı bir şekilde öğrenmeleri için eğitmek için kullanılabilir. Veri kümesi, bilek, parmaklar ve eklemleri kapsayan el başına 21 anahtar nokta içerir. Ayrıca, veri kümesinin açıklamaları, gerçek zamanlı medya işleme için AI destekli çözümler geliştirmeye yönelik bir araç olan Google MediaPipe ile oluşturularak hassas ve güvenilir anahtar nokta tespiti sağlanmıştır. 

‍

Bunun gibi yapılandırılmış bir veri kümesi kullanmak zamandan tasarruf sağlar ve geliştiricilerin veri toplama ve etiketleme yerine modellerini eğitmeye ve ince ayar yapmaya odaklanmalarını sağlar. Aslında, veri kümesi zaten eğitim (18.776 resim) ve doğrulama (7.992 resim) alt kümelerine ayrılmıştır ve bu da model performansını değerlendirmeyi kolaylaştırır. 

El pozisyonu tahmini için YOLO11'i nasıl eğitebilirim?

El poz tahmini için YOLO11'i eğitmek, özellikle modeli kurmayı ve eğitmeyi kolaylaştıran Ultralytics Python paketi ile basit bir işlemdir. El Anahtar Noktaları veri kümesi eğitim hattında zaten desteklendiğinden, ek biçimlendirme olmadan hemen kullanılabilir, bu da zamandan ve emekten tasarruf sağlar.

İşte eğitim sürecinin nasıl işlediği:

• Ortamı ayarlayın: İlk adım, Ultralytics Python paketini kurmaktır.
  ‍
• El Anahtar Noktaları veri kümesini yükleyin: YOLO11 bu veri kümesini yerel olarak destekler, bu nedenle otomatik olarak indirilebilir ve hazırlanabilir.
  ‍
• Önceden eğitilmiş bir model kullanın: Doğruluğu artırmaya ve eğitim sürecini hızlandırmaya yardımcı olan, önceden eğitilmiş bir YOLO11 poz tahmini modeliyle başlayabilirsiniz.
  ‍
• Modeli eğitin: Model, birden çok eğitim döngüsünden geçerek el anahtar noktalarını (keypoints) algılamayı ve izlemeyi öğrenir.
  ‍
• Performansı izleme: Ultralytics paketi ayrıca doğruluk ve kayıp gibi temel metrikleri izlemek için yerleşik araçlar sağlayarak modelin zaman içinde gelişmesine yardımcı olur.
  ‍
• Kaydet ve dağıt: Model eğitildikten sonra, dışa aktarılabilir ve gerçek zamanlı el izleme uygulamaları için kullanılabilir.

Özel olarak eğitilmiş modelinizi değerlendirme

Özel bir model oluşturma adımlarını incelerken, performansı izlemenin çok önemli olduğunu fark edeceksiniz. Eğitim sırasında ilerlemeyi izlemenin yanı sıra, el anahtar noktalarını doğru bir şekilde tespit ettiğinden ve izlediğinden emin olmak için modeli daha sonra değerlendirmek çok önemlidir. 

Doğruluk, kayıp değerleri ve ortalama ortalama kesinlik (mAP) gibi temel performans metrikleri, modelin ne kadar iyi performans gösterdiğini değerlendirmeye yardımcı olur. Ultralytics Python paketi, sonuçları görselleştirmek ve tahminleri gerçek açıklamalarla karşılaştırmak için yerleşik araçlar sağlayarak iyileştirme alanlarını belirlemeyi kolaylaştırır.

Modelin performansını daha iyi anlamak için, eğitim günlüklerinde otomatik olarak oluşturulan kayıp eğrileri, kesinlik-geri çağırma grafikleri ve karmaşıklık matrisleri gibi değerlendirme grafiklerini kontrol edebilirsiniz. 

Bu grafikler, aşırı öğrenme (modelin eğitim verilerini ezberlemesi ancak yeni verilerle zorlanması) veya yetersiz öğrenme (modelin doğru bir şekilde performans göstermek için yeterince iyi desen öğrenememesi) gibi sorunları belirlemeye ve doğruluğu artırmak için ayarlamalara rehberlik etmeye yardımcı olur. Ayrıca, modelin gerçek dünya senaryolarında ne kadar iyi çalıştığını görmek için yeni resimler veya videolar üzerinde test edilmesi önemlidir.

Yapay zeka destekli el izleme çözümlerinin uygulamaları

Şimdi de Ultralytics YOLO11 ile el anahtar noktası tahmininin en etkili uygulamalarından bazılarını inceleyelim.

YOLO11 ile gerçek zamanlı hareket tanıma

Diyelim ki televizyonunuzun sesini sadece elinizi sallayarak ayarlayabiliyor veya akıllı bir ev sisteminde basit bir kaydırma hareketiyle gezinebiliyorsunuz. YOLO11 ile güçlendirilen gerçek zamanlı hareket tanıma, el hareketlerini gerçek zamanlı olarak doğru bir şekilde algılayarak bu temassız etkileşimleri mümkün kılar. 

Bu, elinizdeki kilit noktaları izlemek ve hareketleri komut olarak yorumlamak için yapay zeka kameralarını kullanarak çalışır. Derinlik algılayan kameralar, kızılötesi sensörler veya hatta normal web kameraları el hareketlerini yakalarken, YOLO11 farklı hareketleri tanımak için verileri işleyebilir. Örneğin, böyle bir sistem bir şarkıyı değiştirmek için yapılan bir kaydırma, yakınlaştırmak için yapılan bir çimdik veya sesi ayarlamak için yapılan dairesel bir hareket arasındaki farkı anlayabilir.

İşaret dili tanıma için yapay zeka tabanlı el anahtar noktaları tespiti

El takibi için yapay zeka çözümleri, sağır bir kişi ile işaret dilini bilmeyen biri arasında sorunsuz iletişimi destekleyebilir. Örneğin, kameralar ve YOLO11 ile entegre edilmiş akıllı cihazlar, işaret dilini anında metne veya konuşmaya çevirmek için kullanılabilir. 

YOLO11 gibi gelişmeler sayesinde, işaret dili çeviri araçları daha doğru ve erişilebilir hale geliyor. Bu, yardımcı teknoloji, canlı çeviri hizmetleri ve eğitim platformları gibi uygulamaları etkiler. Yapay zeka, iletişim boşluklarını gidermeye ve iş yerlerinde, okullarda ve kamusal alanlarda kapsayıcılığı teşvik etmeye yardımcı olabilir.

El takibi için bilgisayarla görü: AR ve VR deneyimlerini geliştirme

Hiç bir kontrol cihazı kullanmadan nesneleri tutabildiğiniz bir sanal gerçeklik (VR) oyunu oynadınız mı? Bilgisayar görüşüyle desteklenen el takibi, kullanıcıların artırılmış gerçeklik (AR) ve VR ortamlarında doğal olarak etkileşim kurmasını sağlayarak bunu mümkün kılar. 

‍

Ultralytics YOLO11 gibi modeller kullanılarak yapılan el hareketleri tahmini ile yapay zeka, hareketleri gerçek zamanlı olarak izleyerek sıkıştırma, yakalama ve kaydırma gibi hareketleri mümkün kılar. Bu, oyun, sanal eğitim ve uzaktan iş birliğini geliştirerek etkileşimleri daha sezgisel hale getirir. El izleme teknolojisi geliştikçe, AR ve VR daha da sürükleyici ve gerçekçi hissettirecektir. 

Önemli çıkarımlar

Ultralytics YOLO11 ile el anahtar noktası tahmini, yapay zeka güdümlü el izleme çözümlerini daha erişilebilir ve güvenilir hale getiriyor. Gerçek zamanlı hareket tanımadan işaret dili çevirisine ve AR/VR uygulamalarına kadar, bilgisayar görüşü insan-bilgisayar etkileşiminde yeni olanaklar açıyor.

Ayrıca, kolaylaştırılmış özel eğitim ve ince ayar süreçleri, geliştiricilerin çeşitli gerçek dünya kullanımları için verimli modeller oluşturmasına yardımcı oluyor. Bilgisayarlı görü teknolojisi geliştikçe, sağlık hizmetleri, robotik, oyun ve güvenlik gibi alanlarda daha da fazla yenilik bekleyebiliriz.

Topluluğumuzla etkileşim kurun ve GitHub depomuzda yapay zeka gelişmelerini keşfedin. Çözüm sayfalarımız aracılığıyla üretimde yapay zekanın ve sağlık hizmetlerinde bilgisayarlı görünün etkisini keşfedin. Lisans planlarımızı inceleyin ve yapay zeka yolculuğunuza bugün başlayın!