Ultralytics YOLO11 ile el anahtar noktası tahminini geliştirme

Son zamanlarda Super Bowl'daki işaret dili tercümanları büyük ilgi gördü. Televizyonda en sevdiğin sanatçının şarkısını işaret diliyle anlattıklarını izlediğinde, işaret dilini biliyorsan onları anlayabilirsin; çünkü beynin el hareketlerini işler. Peki ya bir bilgisayar da aynısını yapabilseydi? Yapay zekâ destekli el izleme çözümleri sayesinde makinelerin el hareketlerini etkileyici bir doğrulukla izlemesi ve yorumlaması mümkün.

Bu çözümlerin temelinde, makinelerin görsel bilgileri işlemesini ve anlamasını sağlayan bir yapay zekâ alt alanı olan bilgisayarlı görü bulunur. Görü yapay zekâsı, görüntüleri ve videoları analiz ederek nesneleri algılamalarına, hareketleri izlemelerine ve karmaşık jestleri dikkat çekici bir doğrulukla tanımalarına yardımcı olur.

Örneğin Ultralytics YOLO11 gibi bilgisayarlı görü modelleri, poz tahmini kullanılarak el kilit noktalarını gerçek zamanlı algılamak ve analiz etmek üzere eğitilebilir. Böylece bu modeller jest tanıma, işaret dili çevirisi ve AR/VR etkileşimleri gibi uygulamalarda kullanılabilir.

Bu makalede Ultralytics YOLO11'in yapay zekâ tabanlı el izlemeyi nasıl mümkün kıldığını, eğitim için kullanılan veri kümelerini ve el pozu tahmini için bir modelin nasıl özel olarak eğitileceğini inceleyeceğiz. Ayrıca gerçek dünya uygulamalarına da göz atacağız. Hadi başlayalım!

Yapay zekâ tabanlı el kilit noktası algılamasını anlama#

Yapay zekâ; bilek, parmak uçları ve parmak eklemleri gibi kilit noktaları belirleyerek görsel verilerdeki el hareketlerini tanımak ve izlemek için kullanılabilir. Poz tahmini olarak bilinen bir yaklaşım, kilit noktalarını eşleyip zaman içinde nasıl değiştiklerini analiz ederek bilgisayarların insan hareketlerini anlamasına yardımcı olur. Bu, yapay zekâ sistemlerinin vücut duruşunu, jestleri ve hareket örüntülerini yüksek doğrulukla yorumlamasını sağlar.

Bilgisayarlı görü modelleri, el üzerindeki kilit noktalarını belirlemek ve hareketlerini izlemek için görüntüleri veya videoları analiz ederek bunu mümkün kılar. Bu noktalar eşlendikten sonra yapay zekâ, kilit noktaları arasındaki uzamsal ilişkileri ve bunların zaman içinde nasıl değiştiğini analiz ederek jestleri tanıyabilir.

Örneğin başparmak ile işaret parmağı arasındaki mesafe azalırsa yapay zekâ bunu bir sıkıştırma hareketi olarak yorumlayabilir. Benzer şekilde, kilit noktalarının diziler hâlinde nasıl hareket ettiğini izlemek karmaşık el jestlerini belirlemeye ve hatta gelecekteki hareketleri tahmin etmeye yardımcı olur.

Şekil 1. Bilgisayarlı görü kullanılarak eldeki kilit noktalarının tanınmasına bir örnek.

İlginç şekilde, el izleme için poz tahmini; akıllı cihazların eller serbest kontrolünden gelişmiş robotik hassasiyete ve sağlık hizmetlerindeki destek uygulamalarına kadar heyecan verici olasılıkların önünü açtı. Yapay zekâ ve bilgisayarlı görü gelişmeye devam ettikçe el izlemenin, günlük yaşamda teknolojiyi daha etkileşimli, erişilebilir ve sezgisel hâle getirmede daha büyük bir rol oynaması muhtemel.

Poz tahmini için Ultralytics YOLO11'i keşfetme#

Yapay zekâ tabanlı el izleme için nasıl bir çözüm oluşturulacağına geçmeden önce poz tahminine ve Ultralytics YOLO11'in bu bilgisayarlı görü görevini nasıl desteklediğine daha yakından bakalım. Tüm nesneleri belirleyen standart nesne algılamanın aksine poz tahmini; hareketi ve duruşu analiz etmek için eklemler, uzuvlar veya kenarlar gibi temel işaret noktalarını algılamaya odaklanır.

Özellikle Ultralytics YOLO11, gerçek zamanlı poz tahmini için tasarlanmıştır. Hem yukarıdan aşağıya hem de aşağıdan yukarıya yöntemlerden yararlanarak kişileri verimli bir şekilde algılar ve kilit noktalarını tek adımda tahmin eder; hız ve doğruluk açısından önceki modellerden daha iyi performans gösterir.

Ultralytics YOLO11, kullanıma hazır olarak COCO-Pose veri kümesi üzerinde önceden eğitilmiştir ve baş, omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bilekleri dâhil olmak üzere insan vücudundaki kilit noktalarını tanıyabilir.

Şekil 2. İnsan pozu tahmini için YOLO11 kullanımı.

İnsan pozu tahmininin ötesinde Ultralytics YOLO11, canlı ve cansız çeşitli nesneler üzerindeki kilit noktalarını algılamak için özel olarak eğitilebilir. Bu esneklik, YOLO11'i çok çeşitli uygulamalar için harika bir seçenek hâline getirir.

Hand Keypoints veri kümesine genel bakış#

Bir modeli özel olarak eğitmenin ilk adımı veri toplamak ve verileri etiketlemek veya projenin ihtiyaçlarına uygun mevcut bir veri kümesi bulmaktır. Örneğin Hand Keypoints veri kümesi, el izleme ve poz tahmini için görü yapay zekâ modelleri eğitmeye başlamak için iyi bir seçenektir. Etiketlenmiş 26.768 görüntü içerdiğinden manuel etiketleme gereksinimini ortadan kaldırır.

Ultralytics YOLO11 gibi modelleri el hareketlerini hızlı bir şekilde algılamayı ve izlemeyi öğrenmeleri için eğitmekte kullanılabilir. Veri kümesi, her el için bilek, parmaklar ve eklemleri kapsayan 21 kilit noktası içerir. Ayrıca veri kümesinin açıklamaları, gerçek zamanlı medya işleme için yapay zekâ destekli çözümler geliştirmeye yönelik bir araç olan Google MediaPipe ile oluşturulmuştur; bu da hassas ve güvenilir kilit noktası algılamayı sağlar.

Şekil 3. Hand Keypoints veri kümesinde bulunan 21 kilit noktası.

Bunun gibi yapılandırılmış bir veri kümesi kullanmak zaman kazandırır ve geliştiricilerin veri toplamak ve etiketlemek yerine modellerini eğitmeye ve ince ayar yapmaya odaklanmasını sağlar. Veri kümesi zaten eğitim (18.776 görüntü) ve doğrulama (7.992 görüntü) alt kümelerine ayrılmış olduğundan model performansını değerlendirmek kolaydır.

El pozu tahmini için Ultralytics YOLO11 nasıl eğitilir#

El pozu tahmini için YOLO11'i eğitmek, özellikle modelin kurulmasını ve eğitilmesini kolaylaştıran Ultralytics Python paketi ile oldukça basit bir süreçtir. Hand Keypoints veri kümesi eğitim işlem hattında zaten desteklendiğinden, ek biçimlendirme gerektirmeden hemen kullanılabilir ve böylece zaman ve emek tasarrufu sağlar.

Eğitim süreci şu şekilde işler:

• Ortamı kurma: İlk adım Ultralytics Python paketini yüklemektir.
• Hand Keypoints veri kümesini yükleme: Ultralytics YOLO11 bu veri kümesini yerel olarak destekler; bu nedenle veri kümesi otomatik olarak indirilebilir ve hazırlanabilir.
• Önceden eğitilmiş bir model kullanma: Doğruluğu artırmaya ve eğitim sürecini hızlandırmaya yardımcı olan, önceden eğitilmiş bir Ultralytics YOLO11 poz tahmini modeliyle başlayabilirsin.
• Modeli eğitme: Model, birden fazla eğitim döngüsünden geçerek el kilit noktalarını algılamayı ve izlemeyi öğrenir.
• Performansı izleme: Ultralytics paketi ayrıca doğruluk ve kayıp gibi temel metrikleri izlemek için yerleşik araçlar sunar ve modelin zaman içinde gelişmesini sağlamaya yardımcı olur.
• Kaydetme ve dağıtma: Model eğitildikten sonra dışa aktarılabilir ve gerçek zamanlı el izleme uygulamalarında kullanılabilir.

Özel olarak eğittiğin modeli değerlendirme#

Özel bir model oluşturma adımlarını uygularken performansı izlemenin ne kadar önemli olduğunu fark edeceksin. Eğitim sırasında ilerlemeyi izlemenin yanı sıra, modelin el kilit noktalarını doğru şekilde algılayıp izlediğinden emin olmak için eğitim sonrasında değerlendirme yapmak da kritik önem taşır.

Doğruluk, kayıp değerleri ve ortalama kesinlik (mAP) gibi temel performans metrikleri, modelin ne kadar iyi performans gösterdiğini değerlendirmeye yardımcı olur. Ultralytics Python paketi, sonuçları görselleştirmek ve tahminleri gerçek açıklamalarla karşılaştırmak için yerleşik araçlar sunarak iyileştirilmesi gereken alanları belirlemeyi kolaylaştırır.

Modelin performansını daha iyi anlamak için eğitim günlüklerinde otomatik olarak oluşturulan kayıp eğrileri, kesinlik-duyarlılık grafikleri ve karmaşıklık matrisleri gibi değerlendirme grafiklerini inceleyebilirsin.

Bu grafikler, aşırı öğrenme (modelin eğitim verilerini ezberlemesi ancak yeni verilerde zorlanması) veya yetersiz öğrenme (modelin doğru performans gösterecek kadar örüntü öğrenememesi) gibi sorunları belirlemeye ve doğruluğu artıracak düzenlemelere yön vermeye yardımcı olur. Ayrıca modelin gerçek dünya senaryolarında ne kadar iyi çalıştığını görmek için yeni görüntüler veya videolar üzerinde test edilmesi önemlidir.

Yapay zekâ destekli el izleme çözümlerinin uygulamaları#

Şimdi Ultralytics YOLO11 ile el kilit noktası tahmininin en etkili uygulamalarından bazılarına göz atalım.

Ultralytics YOLO11 ile gerçek zamanlı jest tanıma#

Televizyonunun sesini yalnızca elini sallayarak ayarlayabildiğini veya havada basit bir el hareketiyle akıllı ev sisteminde gezinebildiğini düşün. Ultralytics YOLO11 tarafından desteklenen gerçek zamanlı jest tanıma, el hareketlerini gerçek zamanlı olarak doğru şekilde algılayarak bu temassız etkileşimleri mümkün kılar.

Bu işlem, elindeki kilit noktalarını izlemek ve jestleri komut olarak yorumlamak için yapay zekâ kameralarının kullanılmasıyla gerçekleştirilir. Derinlik algılayan kameralar, kızılötesi sensörler veya normal web kameraları el hareketlerini yakalarken Ultralytics YOLO11 farklı jestleri tanımak için verileri işleyebilir. Örneğin böyle bir sistem şarkıyı değiştirmek için yapılan el kaydırma hareketiyle yakınlaştırmak için yapılan sıkıştırma hareketini veya sesi ayarlamak için yapılan dairesel hareketi birbirinden ayırt edebilir.

İşaret dili tanıma için yapay zekâ tabanlı el kilit noktası algılama#

El izleme için yapay zekâ çözümleri, sağır bir kişi ile işaret dilini bilmeyen biri arasındaki iletişimi kesintisiz hâle getirmeye yardımcı olabilir. Örneğin kameralar ve Ultralytics YOLO11 ile entegre akıllı cihazlar, işaret dilini anında metne veya konuşmaya çevirmek için kullanılabilir.

Ultralytics YOLO11 gibi gelişmeler sayesinde işaret dili çeviri araçları daha doğru ve erişilebilir hâle geliyor. Bu durum yardımcı teknoloji, canlı çeviri hizmetleri ve eğitim platformları gibi uygulamaları etkiliyor. Yapay zekâ, iletişim engellerini azaltmaya ve iş yerlerinde, okullarda ve kamusal alanlarda kapsayıcılığı artırmaya yardımcı olabilir.

El izleme için bilgisayarlı görü: AR ve VR deneyimlerini geliştirme#

Hiç bir kumanda kullanmadan nesneleri yakalayabildiğin bir sanal gerçeklik (VR) oyunu oynadın mı? Bilgisayarlı görü destekli el izleme, kullanıcıların artırılmış gerçeklik (AR) ve VR ortamlarında doğal bir şekilde etkileşim kurmasını sağlayarak bunu mümkün kılar.

Şekil 4. El izleme, AR ve VR uygulamalarının temel bir parçasıdır.

Ultralytics YOLO11 gibi modeller kullanılarak el kilit noktası tahmini yapıldığında yapay zekâ hareketleri gerçek zamanlı olarak izler ve sıkıştırma, kavrama ve kaydırma gibi jestleri mümkün kılar. Bu, oyun, sanal eğitim ve uzaktan iş birliği deneyimlerini geliştirerek etkileşimleri daha sezgisel hâle getirir. El izleme teknolojisi geliştikçe AR ve VR daha da sürükleyici ve gerçekçi hissettirecek.

Önemli çıkarımlar#

Ultralytics YOLO11 ile el kilit noktası tahmini, yapay zekâ destekli el izleme çözümlerini daha erişilebilir ve güvenilir hâle getiriyor. Gerçek zamanlı jest tanımadan işaret dili yorumlamaya ve AR/VR uygulamalarına kadar bilgisayarlı görü, insan-bilgisayar etkileşiminde yeni olanakların önünü açıyor.

Ayrıca kolaylaştırılmış özel eğitim ve ince ayar süreçleri, geliştiricilerin çeşitli gerçek dünya kullanımları için verimli modeller oluşturmasına yardımcı oluyor. Bilgisayarlı görü teknolojisi geliştikçe sağlık hizmetleri, robotik, oyun ve güvenlik gibi alanlarda daha fazla yenilik bekleyebiliriz.

Topluluğumuzla etkileşime geç ve GitHub depomuzda AI alanındaki gelişmeleri keşfet. Çözüm sayfalarımız üzerinden üretimde AI'ın ve sağlık hizmetlerinde bilgisayarlı görünün etkisini keşfet. Lisanslama planlarımızı incele ve AI yolculuğuna bugün başla!