Ultralytics YOLO11 ile el anahtar noktası kestirimini geliştirme

Son zamanlarda, Super Bowl'daki işaret dili tercümanları çok fazla ilgi gördü. Televizyonda en sevdiğiniz sanatçının şarkısını işaret ederken onları izlediğinizde, eğer işaret dili biliyorsanız onları anlayabilirsiniz çünkü beyniniz el hareketlerini işler. Peki ya bir bilgisayar da aynısını yapabilseydi? Yapay zeka destekli el takip çözümleri sayesinde, makinelerin el hareketlerini etkileyici bir doğrulukla takip etmesi ve yorumlaması mümkündür.

Bu çözümlerin temelinde, makinelerin görsel bilgileri işlemesini ve anlamasını sağlayan bir yapay zeka alt alanı olan computer vision yer alır. Görüntüleri ve videoları analiz ederek görme yapay zekası, nesneleri tespit etmelerine, hareketleri takip etmelerine ve karmaşık jestleri olağanüstü bir doğrulukla tanımalarına yardımcı olur.

Örneğin, Ultralytics YOLO11 gibi computer vision modelleri, pose estimation kullanarak gerçek zamanlı olarak el kilit noktalarını (keypoints) tespit etmek ve analiz etmek üzere eğitilebilir. Bu sayede bu modeller; jest tanıma, işaret dili çevirisi ve AR/VR etkileşimleri gibi uygulamalarda kullanılabilir.

Bu makalede, Ultralytics YOLO11'in yapay zeka tabanlı el takibini nasıl mümkün kıldığını, eğitim için kullanılan veri kümelerini ve el pozu tahmini için bir modeli nasıl custom-train yapacağını inceleyeceğiz. Ayrıca gerçek dünya uygulamalarına da göz atacağız. Hadi başlayalım!

Yapay zeka tabanlı el anahtar noktası algılamayı anlama#

Yapay zeka; bilek, parmak uçları ve parmak eklemleri gibi keypoints noktalarını belirleyerek görsel verilerdeki el hareketlerini tanımak ve takip etmek için kullanılabilir. pose estimation olarak bilinen bir yaklaşım, keypoints noktalarını haritalandırarak ve bunların zaman içinde nasıl değiştiğini analiz ederek bilgisayarların insan hareketlerini anlamasına yardımcı olur. Bu, yapay zeka sistemlerinin vücut duruşunu, jestleri ve hareket kalıplarını yüksek bir doğrulukla yorumlamasını sağlar.

Computer vision models, el üzerindeki keypoints noktalarını belirlemek ve hareketlerini takip etmek için görüntüleri veya videoları analiz ederek bunu mümkün kılar. Bu noktalar haritalandırıldıktan sonra yapay zeka, keypoints arasındaki uzamsal ilişkileri ve bunların zaman içinde nasıl değiştiğini analiz ederek jestleri tanıyabilir.

Örneğin, baş parmak ile işaret parmağı arasındaki mesafe azaldığında, yapay zeka bunu bir çimdikleme hareketi olarak yorumlayabilir. Benzer şekilde, anahtar noktaların sıralı hareketlerinin izlenmesi, karmaşık el jestlerini tanımlamaya ve hatta gelecekteki hareketleri tahmin etmeye yardımcı olur.

Fig 1. Computer vision kullanarak eldeki keypoints noktalarını tanımanın bir örneği.

İlginç bir şekilde, el takibi için poz kestirimi; eller serbest akıllı cihaz kontrolünden robotik hassasiyetin artırılmasına ve sağlık uygulamalarındaki yardıma kadar heyecan verici olasılıkların kapısını açtı. Yapay zeka ve bilgisayarlı görü gelişmeye devam ettikçe, el takibi teknolojiyi günlük yaşamda daha etkileşimli, erişilebilir ve sezgisel hale getirmede muhtemelen daha büyük bir rol oynayacaktır.

Poz tahmini için Ultralytics YOLO11'i keşfetmek#

Yapay zeka tabanlı el takibi için bir çözüm oluşturmaya dalmadan önce, poz tahminine ve Ultralytics YOLO11'in bu computer vision task görevini nasıl desteklediğine daha yakından bakalım. Tüm nesneleri tanıyan standart nesne tespitinin aksine poz tahmini, hareketi ve duruşu analiz etmek için eklemler, uzuvlar veya kenarlar gibi kilit noktaları tespit etmeye odaklanır.

Özellikle Ultralytics YOLO11, gerçek zamanlı poz kestirimi için tasarlanmıştır. Hem yukarıdan aşağıya hem de aşağıdan yukarıya yöntemlerden yararlanarak, insanları algılamayı ve anahtar noktaları tek bir adımda tahmin etmeyi verimli bir şekilde gerçekleştirerek önceki modellerden hız ve doğruluk açısından daha iyi performans gösterir.

Kutudan çıktığı gibi, Ultralytics YOLO11, COCO-Pose dataset üzerinde önceden eğitilmiş olarak gelir ve kafa, omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bilekleri dahil olmak üzere insan vücudundaki anahtar noktaları tanıyabilir.

Fig 2. İnsan pose estimation için YOLO11 kullanımı.

İnsan pozu tahmininin ötesinde Ultralytics YOLO11, ister canlı ister cansız olsun çeşitli nesneler üzerindeki eklem noktalarını (keypoints) tespit etmek üzere özel olarak eğitilebilir. Bu esneklik, YOLO11 modelini çok geniş bir uygulama yelpazesi için harika bir seçenek haline getirir.

El Anahtar Noktaları veri kümesine genel bir bakış#

Bir modeli özel olarak eğitmenin ilk adımı, veri toplamak ve bunları etiketlemek veya projenin ihtiyaçlarına uygun mevcut bir veri seti bulmaktır. Örneğin Hand Keypoints veri seti, el takibi ve pose estimation için vision AI modellerini eğitmek adına iyi bir başlangıç noktasıdır. 26.768 etiketli görüntüyle manuel etiketleme ihtiyacını ortadan kaldırır.

Ultralytics YOLO11 gibi modelleri el hareketlerini nasıl algılayacağını ve izleyeceğini hızla öğrenmeleri için eğitmek amacıyla kullanılabilir. Veri kümesi, bilek, parmaklar ve eklemleri kapsayan el başına 21 anahtar nokta içerir. Ayrıca, veri kümesinin etiketleri, hassas ve güvenilir anahtar noktası algılaması sağlayan, gerçek zamanlı medya işleme için yapay zeka destekli çözümler geliştirmeye yönelik bir araç olan Google MediaPipe ile oluşturulmuştur.

Fig 3. Hand Keypoints veri setinde yer alan 21 keypoints noktası.

Bunun gibi yapılandırılmış bir veri kümesi kullanmak zaman kazandırır ve geliştiricilerin veri toplama ve etiketleme yerine modellerini eğitmeye ve ince ayar yapmaya odaklanmalarını sağlar. Aslında, veri kümesi halihazırda eğitim (18.776 görüntü) ve doğrulama (7.992 görüntü) alt kümelerine bölünmüştür, bu da model performansını değerlendirmeyi kolaylaştırır.

El pozu tahmini için Ultralytics YOLO11 nasıl eğitilir#

El pose estimation için YOLO11'i eğitmek, özellikle modelin kurulumunu ve eğitimini kolaylaştıran Ultralytics Python package ile oldukça anlaşılır bir süreçtir. Hand Keypoints veri seti eğitim hattında halihazırda desteklendiği için, ekstra biçimlendirmeye gerek kalmadan hemen kullanılabilir ve böylece zamandan ile emekten tasarruf sağlanır.

Eğitim sürecinin nasıl işlediği aşağıdadır:

• Ortamı hazırlayın: İlk adım, Ultralytics Python paketini yüklemektir.
• El Anahtar Noktaları veri setini yükle: Ultralytics YOLO11 bu veri setini yerel olarak destekler, bu nedenle otomatik olarak indirilebilir ve hazırlanabilir.
• Önceden eğitilmiş bir model kullan: Doğruluğu artırmaya yardımcı olan ve eğitim sürecini hızlandıran önceden eğitilmiş bir Ultralytics YOLO11 poz tahmini modeli ile başlayabilirsin.
• Modeli eğitin: Model, birden fazla eğitim döngüsünden geçerek el anahtar noktalarını algılamayı ve izlemeyi öğrenir.
• Performansı izleyin: Ultralytics paketi ayrıca doğruluk ve kayıp gibi temel metrikleri izlemek için yerleşik araçlar sunarak modelin zamanla gelişmesini sağlamaya yardımcı olur.
• Kaydet ve dağıt: Eğitildikten sonra model exported edilebilir ve gerçek zamanlı el takibi uygulamaları için kullanılabilir.

Özel olarak eğitilmiş modelinizi değerlendirme#

Özel bir model oluşturma adımlarını izlerken, performansı izlemenin gerekli olduğunu fark edeceksiniz. Eğitim sırasında ilerlemeyi izlemenin yanı sıra, modelin el anahtar noktalarını doğru bir şekilde algıladığından ve izlediğinden emin olmak için sonrasında değerlendirme yapmak çok önemlidir.

Doğruluk, kayıp değerleri ve ortalama duyarlılık (mAP) gibi temel performance metrics, modelin ne kadar iyi performans gösterdiğini değerlendirmeye yardımcı olur. Ultralytics Python paketi, sonuçları görselleştirmek ve tahminleri gerçek etiketlerle karşılaştırmak için yerleşik araçlar sunarak iyileştirme alanlarını tespit etmeyi kolaylaştırır.

Modelin performansını daha iyi anlamak için, eğitim günlüklerinde otomatik olarak oluşturulan kayıp eğrileri, hassasiyet-duyarlılık grafikleri ve karışıklık matrisleri gibi değerlendirme grafiklerini kontrol edebilirsiniz.

Bu grafikler, aşırı uyum (modelin eğitim verilerini ezberlemesi ancak yeni verilerle zorlanması) veya yetersiz uyum (modelin doğru performans göstermek için kalıpları yeterince iyi öğrenememesi) gibi sorunları belirlemeye yardımcı olur ve doğruluğu artırmak için ayarlamalara rehberlik eder. Ayrıca, modelin gerçek dünya senaryolarında ne kadar iyi çalıştığını görmek için yeni görüntüler veya videolar üzerinde test etmek önemlidir.

Yapay zeka destekli el takibi çözümlerinin uygulamaları#

Ardından, hand keypoints estimation with Ultralytics YOLO11 özelliğinin en etkili uygulamalarından bazılarını inceleyelim.

Ultralytics YOLO11 ile gerçek zamanlı jest tanıma#

Diyelim ki sadece elini sallayarak TV'nin sesini ayarlayabiliyor veya havadaki basit bir kaydırma hareketiyle akıllı bir ev sisteminde gezinebiliyorsun. Ultralytics YOLO11 tarafından desteklenen gerçek zamanlı jest tanıma, el hareketlerini gerçek zamanlı olarak doğru bir şekilde tespit ederek bu temassız etkileşimleri mümkün kılar.

Bu, elindeki anahtar noktaları takip etmek ve jestleri komut olarak yorumlamak için AI cameras kullanılarak çalışır. Derinlik algılayan kameralar, kızılötesi sensörler ve hatta normal web kameraları el hareketlerini yakalarken, Ultralytics YOLO11 farklı jestleri tanımak için verileri işleyebilir. Örneğin, böyle bir sistem bir şarkıyı değiştirmek için yapılan kaydırma, yakınlaştırmak için yapılan çimdikleme veya ses seviyesini ayarlamak için yapılan dairesel bir hareket arasındaki farkı anlayabilir.

İşaret dili tanıma için yapay zeka tabanlı el anahtar noktası algılama#

El takibi için yapay zeka çözümleri, sağır bir birey ile işaret dilini bilmeyen biri arasında kesintisiz iletişimi destekleyebilir. Örneğin, kameralar ve Ultralytics YOLO11 ile entegre edilmiş akıllı cihazlar, işaret dilini anında metne veya konuşmaya çevirmek için kullanılabilir.

Ultralytics YOLO11 gibi gelişmeler sayesinde, işaret dili çeviri araçları daha doğru ve erişilebilir hale geliyor. Bu durum, yardımcı teknoloji, canlı çeviri hizmetleri ve eğitim platformları gibi uygulamaları etkiler. Yapay zeka, iletişim boşluklarını kapatmaya ve iş yerlerinde, okullarda ve kamusal alanlarda kapsayıcılığı teşvik etmeye yardımcı olabilir.

El takibi için bilgisayarlı görü: AR ve VR deneyimlerini iyileştirme#

Kumanda kullanmadan nesneleri kapabileceğiniz bir sanal gerçeklik (VR) oyunu hiç oynadınız mı? Computer vision tarafından desteklenen el takibi, kullanıcıların augmented reality (AR) ve VR ortamlarında doğal bir şekilde etkileşim kurmasına olanak tanıyarak bunu mümkün kılar.

Fig 4. El takibi, AR ve VR uygulamalarının kilit bir parçasıdır.

Ultralytics YOLO11 gibi modelleri kullanan el anahtar noktası kestirimi ile yapay zeka, hareketleri gerçek zamanlı olarak izleyerek çimdikleme, tutma ve kaydırma gibi jestleri mümkün kılar. Bu, oyun deneyimini, sanal eğitimi ve uzaktan iş birliğini geliştirerek etkileşimleri daha sezgisel hale getirir. El takibi teknolojisi geliştikçe, AR ve VR daha sürükleyici ve gerçekçi hissettirecektir.

Öne çıkanlar#

Ultralytics YOLO11 ile el anahtar noktası kestirimi, yapay zeka destekli el takibi çözümlerini daha erişilebilir ve güvenilir hale getiriyor. Gerçek zamanlı jest tanımadan işaret dili tercümesine ve AR/VR uygulamalarına kadar, bilgisayarlı görü insan-bilgisayar etkileşiminde yeni olasılıklar açıyor.

Ayrıca, optimize edilmiş özel eğitim ve ince ayar süreçleri, geliştiricilerin çeşitli gerçek dünya kullanımları için verimli modeller oluşturmasına yardımcı oluyor. Bilgisayarlı görü teknolojisi geliştikçe, sağlık, robotik, oyun ve güvenlik gibi alanlarda daha da fazla yenilik bekleyebiliriz.

our community ile etkileşime geç ve GitHub repository üzerindeki yapay zeka gelişmelerini keşfet. Çözüm sayfalarımız aracılığıyla AI in manufacturing ve computer vision in healthcare etkisini keşfet. our licensing plans incele ve yapay zeka yolculuğuna bugün başla!