Ultralytics YOLO11 ile el anahtar noktası tahminini geliştirme

Son zamanlarda Super Bowl'daki işaret dili tercümanları büyük ilgi gördü. Televizyonda en sevdiğin sanatçının şarkısını işaret diliyle anlattıklarını izlediğinde, işaret dilini biliyorsan onları anlayabilirsin; çünkü beynin el hareketlerini işler. Peki ya bir bilgisayar da aynısını yapabilseydi? Yapay zekâ destekli el takibi çözümleri sayesinde makineler el hareketlerini etkileyici bir doğrulukla izleyip yorumlayabiliyor.

Bu çözümlerin temelinde, makinelerin görsel bilgileri işleyip anlamasını sağlayan bir yapay zekâ alt alanı olan bilgisayarlı görü yer alır. Görüntü ve videoları analiz eden görsel yapay zekâ, makinelerin nesneleri algılamasına, hareketleri izlemesine ve karmaşık jestleri tanımasına yardımcı olur.

Örneğin, Ultralytics YOLO11 gibi bilgisayarlı görü modelleri, poz tahmini kullanarak el kilit noktalarını gerçek zamanlı algılamak ve analiz etmek üzere eğitilebilir. Böylece bu modeller jest tanıma, işaret dili çevirisi ve AR/VR etkileşimleri gibi uygulamalarda kullanılabilir.

Bu makalede, Ultralytics YOLO11'in yapay zekâ tabanlı el takibini nasıl mümkün kıldığını, eğitimde kullanılan veri kümelerini ve el pozu tahmini için bir modelin nasıl özel olarak eğitileceğini inceleyeceğiz. Gerçek dünya uygulamalarına da göz atacağız.

Yapay zekâ tabanlı el önemli noktası algılamasını anlama#

Yapay zekâ, bilek, parmak uçları ve parmak eklemleri gibi kilit noktaları belirleyerek görsel verilerdeki el hareketlerini tanıyıp takip edebilir. Poz tahmini olarak bilinen yaklaşımlardan biri, kilit noktaları haritalandırıp zaman içindeki değişimlerini analiz ederek bilgisayarların insan hareketlerini anlamasına yardımcı olur. Bu sayede yapay zekâ sistemleri vücut duruşunu, jestleri ve hareket kalıplarını yüksek doğrulukla yorumlayabilir.

Bilgisayarlı görü modelleri, el üzerindeki önemli noktaları belirlemek ve hareketlerini izlemek için görüntüleri veya videoları analiz ederek bunu mümkün kılar. Bu noktalar eşlendikten sonra yapay zekâ, önemli noktalar arasındaki uzamsal ilişkileri ve bunların zaman içinde nasıl değiştiğini analiz ederek jestleri tanıyabilir.

Örneğin, başparmak ile işaret parmağı arasındaki mesafe azalırsa yapay zekâ bunu bir kıstırma hareketi olarak yorumlayabilir. Benzer şekilde, önemli noktaların ardışık hareketlerini izlemek karmaşık el jestlerini belirlemeye ve hatta gelecekteki hareketleri tahmin etmeye yardımcı olur.

Şekil 1. Bilgisayarlı görü kullanarak eldeki önemli noktaları tanımaya bir örnek.

İlginç bir şekilde, el takibine yönelik poz tahmini; akıllı cihazları eller serbest kontrol etmekten robotik hassasiyeti artırmaya ve sağlık uygulamalarında destek sunmaya kadar heyecan verici olanakların önünü açtı. Yapay zekâ ve bilgisayarlı görü gelişmeye devam ettikçe el takibi, teknolojiyi günlük yaşamda daha etkileşimli, erişilebilir ve sezgisel hâle getirmede muhtemelen daha büyük bir rol oynayacak.

Poz tahmini için Ultralytics YOLO11'i keşfetme#

Yapay zekâ tabanlı el takibi için nasıl bir çözüm oluşturulacağını incelemeden önce, poz tahminine ve Ultralytics YOLO11'in bu bilgisayarlı görü görevini nasıl desteklediğine daha yakından bakalım. Nesnelerin tamamını tanıyan standart nesne algılamanın aksine poz tahmini; hareketi ve duruşu analiz etmek için eklemler, uzuvlar veya kenarlar gibi temel işaret noktalarını algılamaya odaklanır.

Özellikle Ultralytics YOLO11, gerçek zamanlı poz tahmini için tasarlanmıştır. İnsanları verimli biçimde algılar ve önemli noktaları tek adımda tahmin ederek önceki modelleri hız ve doğruluk bakımından geride bırakır.

Ultralytics YOLO11, kutudan çıktığı hâliyle COCO-Pose veri kümesi üzerinde önceden eğitilmiştir ve insan vücudundaki baş, omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bilekleri dâhil önemli noktaları tanıyabilir.

Şekil 2. İnsan pozu tahmini için YOLO11 kullanımı.

Ultralytics YOLO11, insan pozu tahmininin yanı sıra canlı veya cansız çeşitli nesneler üzerindeki kilit noktaları algılamak için de özel olarak eğitilebilir. Bu esneklik, YOLO11'i çok çeşitli uygulamalar için harika bir seçenek hâline getirir.

Hand Keypoints veri kümesine genel bakış#

Bir modeli özel olarak eğitmenin ilk adımı, veri toplamak ve bu verileri etiketlemek ya da projenin ihtiyaçlarına uygun mevcut bir veri kümesi bulmaktır. Örneğin, Hand Keypoints veri kümesi, el takibi ve poz tahmini için görsel yapay zekâ modellerini eğitmeye başlamak için iyi bir seçenektir. 26.768 etiketli görüntü içeren bu veri kümesi, manuel etiketleme ihtiyacını ortadan kaldırır.

Ultralytics YOLO11 gibi modelleri el hareketlerini hızla algılayıp izlemeyi öğrenmeleri için eğitmekte kullanılabilir. Veri kümesi, bileği, parmakları ve eklemleri kapsayan, her el için 21 önemli nokta içerir. Ayrıca veri kümesinin etiketleri, gerçek zamanlı medya işleme için yapay zekâ destekli çözümler geliştirme aracı olan Google MediaPipe ile oluşturulmuştur; bu da önemli noktaların hassas ve güvenilir biçimde algılanmasını sağlar.

Şekil 3. Hand Keypoints veri kümesinde bulunan 21 önemli nokta.

Bunun gibi yapılandırılmış bir veri kümesi kullanmak zaman kazandırır ve geliştiricilerin veri toplamak ve etiketlemek yerine modelleri eğitmeye ve ince ayar yapmaya odaklanmasını sağlar. Üstelik veri kümesi eğitim (18.776 görüntü) ve doğrulama (7.992 görüntü) alt kümelerine önceden ayrılmıştır; bu da model performansını değerlendirmeyi kolaylaştırır.

El pozu tahmini için Ultralytics YOLO11 nasıl eğitilir#

YOLO11'i el pozu tahmini için eğitmek oldukça kolaydır; özellikle de modeli kurmayı ve eğitmeyi kolaylaştıran Ultralytics Python paketi sayesinde. Hand Keypoints veri kümesi eğitim işlem hattında zaten desteklendiğinden, ek biçimlendirme gerektirmeden hemen kullanılabilir ve böylece zamandan ve emekten tasarruf edilir.

Eğitim süreci şöyle işler:

• Ortamı kur: İlk adım Ultralytics Python paketini yüklemektir.
• Hand Keypoints veri kümesini yükle: Ultralytics YOLO11 bu veri kümesini yerel olarak destekler; dolayısıyla veri kümesi otomatik olarak indirilip hazırlanabilir.
• Önceden eğitilmiş bir model kullan: Doğruluğu artırmaya ve eğitim sürecini hızlandırmaya yardımcı olan önceden eğitilmiş bir Ultralytics YOLO11 poz tahmini modeliyle başlayabilirsin.
• Modeli eğit: Model, birden fazla eğitim döngüsünden geçerek elin önemli noktalarını algılamayı ve izlemeyi öğrenir.
• Performansı izle: Ultralytics paketi, doğruluk ve kayıp gibi temel ölçütleri izlemek için yerleşik araçlar da sunar; bu araçlar modelin zaman içinde gelişmesini sağlamaya yardımcı olur.
• Kaydet ve dağıt: Model eğitildikten sonra dışa aktarılabilir ve gerçek zamanlı el takibi uygulamalarında kullanılabilir.

Özel olarak eğittiğin modeli değerlendirme#

Özel bir model oluşturma adımlarını uygularken performansı izlemenin ne kadar önemli olduğunu fark edeceksin. Eğitim sırasında ilerlemeyi takip etmenin yanı sıra, elin önemli noktalarını doğru biçimde algılayıp izlediğinden emin olmak için modeli eğitim sonrasında değerlendirmek de kritik öneme sahiptir.

Doğruluk, kayıp değerleri ve ortalama hassasiyet (mAP) gibi temel performans ölçütleri, modelin ne kadar iyi çalıştığını değerlendirmeye yardımcı olur. Ultralytics Python paketi, sonuçları görselleştirmek ve tahminleri gerçek etiketlerle karşılaştırmak için yerleşik araçlar sunarak iyileştirilmesi gereken noktaları bulmayı kolaylaştırır.

Modelin performansını daha iyi anlamak için eğitim günlüklerinde otomatik olarak oluşturulan kayıp eğrileri, hassasiyet-duyarlılık grafikleri ve karmaşıklık matrisleri gibi değerlendirme grafiklerini inceleyebilirsin.

Bu grafikler, aşırı öğrenme (modelin eğitim verilerini ezberleyip yeni verilerde zorlanması) veya yetersiz öğrenme (modelin doğru performans gösterecek kalıpları yeterince öğrenememesi) gibi sorunları belirlemeye ve doğruluğu artıracak düzenlemelere yön vermeye yardımcı olur. Ayrıca modelin gerçek dünya senaryolarında ne kadar iyi çalıştığını görmek için yeni görüntüler veya videolar üzerinde test edilmesi önemlidir.

Yapay zekâ destekli el takibi çözümlerinin uygulamaları#

Şimdi, Ultralytics YOLO11 ile elin önemli noktalarını tahmin etmenin en etkili uygulamalarından bazılarına göz atalım.

Ultralytics YOLO11 ile gerçek zamanlı jest tanıma#

Elini basitçe sallayarak televizyonunun sesini ayarlayabildiğini veya havada basit bir kaydırma hareketiyle akıllı ev sisteminde gezinebildiğini düşün. Ultralytics YOLO11 destekli gerçek zamanlı jest tanıma, el hareketlerini anında doğru biçimde algılayarak bu temassız etkileşimleri mümkün kılar.

Bu yöntem, elindeki kilit noktaları takip etmek ve jestleri komut olarak yorumlamak için yapay zekâ kameraları kullanır. Derinlik algılayan kameralar, kızılötesi sensörler ve hatta standart web kameraları el hareketlerini yakalarken Ultralytics YOLO11 verileri işleyerek farklı jestleri tanıyabilir. Örneğin böyle bir sistem şarkı değiştirmek için yapılan kaydırma hareketini, yakınlaştırmak için yapılan kıstırma hareketini veya ses düzeyini ayarlamak için yapılan dairesel hareketi birbirinden ayırt edebilir.

İşaret dili tanıma için yapay zekâ tabanlı elin önemli noktalarını algılama#

El takibine yönelik yapay zekâ çözümleri, işitme engelli bir kişiyle işaret dilini bilmeyen biri arasındaki iletişimi destekleyebilir. Örneğin kamera ve Ultralytics YOLO11 ile entegre akıllı cihazlar, işaret dilini anında metne veya konuşmaya çevirmek için kullanılabilir.

Ultralytics YOLO11 gibi gelişmeler sayesinde işaret dili çeviri araçları daha doğru ve erişilebilir hâle geliyor. Bu gelişme; yardımcı teknoloji, canlı çeviri hizmetleri ve eğitim platformları gibi uygulamaları etkiliyor. Yapay zekâ, iletişim engellerini aşmaya ve iş yerlerinde, okullarda ve kamusal alanlarda kapsayıcılığı desteklemeye yardımcı olabilir.

El takibi için bilgisayarlı görü: AR ve VR deneyimlerini iyileştirme#

Bir kontrol cihazı kullanmadan nesneleri tutabildiğin bir sanal gerçeklik (VR) oyunu oynadın mı hiç? Bilgisayarlı görü destekli el takibi, kullanıcıların artırılmış gerçeklik (AR) ve VR ortamlarında doğal bir şekilde etkileşim kurmasını sağlayarak bunu mümkün kılar.

Şekil 4. El takibi, AR ve VR uygulamalarının temel bir parçasıdır.

Ultralytics YOLO11 gibi modellerle yapılan el kilit noktası tahmini sayesinde yapay zekâ, kıstırma, kavrama ve kaydırma gibi jestleri mümkün kılarak hareketleri gerçek zamanlı izler. Bu, oyun deneyimini, sanal eğitimi ve uzaktan iş birliğini geliştirerek etkileşimleri daha sezgisel hâle getirir. El takibi teknolojisi geliştikçe AR ve VR deneyimleri daha sürükleyici ve gerçekçi olacaktır.

Önemli çıkarımlar#

Ultralytics YOLO11 ile elin önemli noktalarını tahmin etmek, yapay zekâ destekli el takibi çözümlerini daha erişilebilir ve güvenilir hâle getiriyor. Gerçek zamanlı jest tanımadan işaret dili yorumlamaya ve AR/VR uygulamalarına kadar bilgisayarlı görü, insan-bilgisayar etkileşiminde yeni olanakların önünü açıyor.

Ayrıca, kolaylaştırılmış özel eğitim ve ince ayar süreçleri geliştiricilerin çeşitli gerçek dünya kullanımları için verimli modeller oluşturmasına yardımcı oluyor. Bilgisayarlı görü teknolojisi geliştikçe sağlık, robotik, oyun ve güvenlik gibi alanlarda daha fazla yenilik görebiliriz.

Topluluğumuzla etkileşim kur ve GitHub depomuzda yapay zekâ alanındaki gelişmeleri keşfet. Çözümler sayfalarımızda yapay zekânın üretimdeki ve sağlık hizmetlerinde bilgisayarlı görünün etkisini öğren. Lisans planlarımızı keşfet ve yapay zekâ yolculuğuna bugün başla!