Ultralytics YOLO11 ile el anahtar noktası kestirimini geliştirme

Son zamanlarda, Super Bowl'daki işaret dili tercümanları çok fazla ilgi gördü. Televizyonda en sevdiğiniz sanatçının şarkısını işaret ederken onları izlediğinizde, eğer işaret dili biliyorsanız onları anlayabilirsiniz çünkü beyniniz el hareketlerini işler. Peki ya bir bilgisayar da aynısını yapabilseydi? Yapay zeka destekli el takip çözümleri sayesinde, makinelerin el hareketlerini etkileyici bir doğrulukla takip etmesi ve yorumlaması mümkündür.

Bu çözümlerin merkezinde, makinelerin görsel bilgileri işlemesini ve anlamasını sağlayan bir yapay zeka alt alanı olan bilgisayarlı görü yer alır. Görüntüleri ve videoları analiz eden bilgisayarlı görü yapay zekası, nesneleri algılamalarına, hareketleri izlemelerine ve karmaşık jestleri olağanüstü bir doğrulukla tanımalarına yardımcı olur.

Örneğin, Ultralytics YOLO11 gibi bilgisayarlı görü modelleri, poz kestirimi kullanarak gerçek zamanlı olarak el anahtar noktalarını algılamak ve analiz etmek üzere eğitilebilir. Bunu yaparak, bu modeller jest tanıma, işaret dili çevirisi ve AR/VR etkileşimleri gibi uygulamalar için kullanılabilir.

Bu makalede, YOLO11'in yapay zeka tabanlı el takibini nasıl mümkün kıldığını, eğitim için kullanılan veri kümelerini ve el poz kestirimi için bir modeli nasıl özel olarak eğitebileceğini keşfedeceğiz. Ayrıca gerçek dünya uygulamalarına da göz atacağız. Hadi başlayalım!

Link to this sectionYapay zeka tabanlı el anahtar noktası algılamayı anlama#

Yapay zeka, bilek, parmak uçları ve parmak eklemleri gibi anahtar noktaları tanımlayarak görsel verilerdeki el hareketlerini tanımak ve izlemek için kullanılabilir. Poz kestirimi olarak bilinen bir yaklaşım, bilgisayarların anahtar noktaları haritalandırarak ve bunların zaman içinde nasıl değiştiğini analiz ederek insan hareketini anlamalarına yardımcı olur. Bu, yapay zeka sistemlerinin vücut duruşunu, jestleri ve hareket kalıplarını yüksek doğrulukla yorumlamasını sağlar.

Bilgisayarlı görü modelleri, el üzerindeki anahtar noktaları tanımlamak ve hareketlerini izlemek için görüntüleri veya videoları analiz ederek bunu mümkün kılar. Bu noktalar eşlendiğinde, yapay zeka anahtar noktalar arasındaki uzamsal ilişkileri ve bunların zaman içinde nasıl değiştiğini analiz ederek jestleri tanıyabilir.

Örneğin, baş parmak ile işaret parmağı arasındaki mesafe azaldığında, yapay zeka bunu bir çimdikleme hareketi olarak yorumlayabilir. Benzer şekilde, anahtar noktaların sıralı hareketlerinin izlenmesi, karmaşık el jestlerini tanımlamaya ve hatta gelecekteki hareketleri tahmin etmeye yardımcı olur.

Şekil 1. Bilgisayarlı görü kullanarak bir eldeki anahtar noktaları tanımanın bir örneği.

İlginç bir şekilde, el takibi için poz kestirimi; eller serbest akıllı cihaz kontrolünden robotik hassasiyetin artırılmasına ve sağlık uygulamalarındaki yardıma kadar heyecan verici olasılıkların kapısını açtı. Yapay zeka ve bilgisayarlı görü gelişmeye devam ettikçe, el takibi teknolojiyi günlük yaşamda daha etkileşimli, erişilebilir ve sezgisel hale getirmede muhtemelen daha büyük bir rol oynayacaktır.

Link to this sectionPoz kestirimi için YOLO11'i keşfetme#

Yapay zeka tabanlı el takibi için nasıl bir çözüm oluşturulacağını incelemeden önce, poz kestirimine ve YOLO11'in bu bilgisayarlı görü görevini nasıl desteklediğine daha yakından bakalım. Tüm nesneleri tanımlayan standart nesne algılamanın aksine, poz kestirimi hareket ve duruşu analiz etmek için eklemler, uzuvlar veya kenarlar gibi önemli referans noktalarını algılamaya odaklanır.

Özellikle Ultralytics YOLO11, gerçek zamanlı poz kestirimi için tasarlanmıştır. Hem yukarıdan aşağıya hem de aşağıdan yukarıya yöntemlerden yararlanarak, insanları algılamayı ve anahtar noktaları tek bir adımda tahmin etmeyi verimli bir şekilde gerçekleştirerek önceki modellerden hız ve doğruluk açısından daha iyi performans gösterir.

YOLO11, kullanıma hazır olarak COCO-Pose veri kümesi üzerinde önceden eğitilmiş olarak gelir ve baş, omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bilekleri dahil olmak üzere insan vücudundaki anahtar noktaları tanıyabilir.

Şekil 2. İnsan pozu kestirimi için YOLO11 kullanılması.

İnsan pozu kestiriminin ötesinde, YOLO11 hem canlı hem de cansız çeşitli nesneler üzerindeki anahtar noktaları algılamak için özel olarak eğitilebilir. Bu esneklik, YOLO11'i geniş bir uygulama yelpazesi için harika bir seçenek haline getirir.

Link to this sectionEl Anahtar Noktaları veri kümesine genel bir bakış#

Bir modeli özel olarak eğitmenin ilk adımı, verileri toplayıp etiketlemek veya projenin ihtiyaçlarına uygun mevcut bir veri kümesi bulmaktır. Örneğin, El Anahtar Noktaları veri kümesi, el takibi ve poz kestirimi için bilgisayarlı görü modelleri eğitmek adına iyi bir başlangıç noktasıdır. 26.768 etiketli görüntü ile manuel etiketleme ihtiyacını ortadan kaldırır.

Ultralytics YOLO11 gibi modelleri el hareketlerini nasıl algılayacağını ve izleyeceğini hızla öğrenmeleri için eğitmek amacıyla kullanılabilir. Veri kümesi, bilek, parmaklar ve eklemleri kapsayan el başına 21 anahtar nokta içerir. Ayrıca, veri kümesinin etiketleri, hassas ve güvenilir anahtar noktası algılaması sağlayan, gerçek zamanlı medya işleme için yapay zeka destekli çözümler geliştirmeye yönelik bir araç olan Google MediaPipe ile oluşturulmuştur.

Şekil 3. El Anahtar Noktaları veri kümesinde yer alan 21 anahtar nokta.

Bunun gibi yapılandırılmış bir veri kümesi kullanmak zaman kazandırır ve geliştiricilerin veri toplama ve etiketleme yerine modellerini eğitmeye ve ince ayar yapmaya odaklanmalarını sağlar. Aslında, veri kümesi halihazırda eğitim (18.776 görüntü) ve doğrulama (7.992 görüntü) alt kümelerine bölünmüştür, bu da model performansını değerlendirmeyi kolaylaştırır.

Link to this sectionEl pozu kestirimi için YOLO11 nasıl eğitilir#

YOLO11'i el pozu kestirimi için eğitmek, özellikle modelin kurulumunu ve eğitimini kolaylaştıran Ultralytics Python paketi ile oldukça basit bir işlemdir. El Anahtar Noktaları veri kümesi eğitim hattında zaten desteklendiğinden, ek bir biçimlendirmeye gerek kalmadan hemen kullanılabilir, bu da zamandan ve emekten tasarruf sağlar.

Eğitim sürecinin nasıl işlediği aşağıdadır:

• Ortamı hazırlayın: İlk adım, Ultralytics Python paketini yüklemektir.
• El Anahtar Noktaları veri kümesini yükleyin: YOLO11 bu veri kümesini yerel olarak destekler, bu nedenle otomatik olarak indirilebilir ve hazırlanabilir.
• Önceden eğitilmiş bir model kullanın: Doğruluğu artırmaya yardımcı olan ve eğitim sürecini hızlandıran, önceden eğitilmiş bir YOLO11 poz kestirimi modeli ile başlayabilirsiniz.
• Modeli eğitin: Model, birden fazla eğitim döngüsünden geçerek el anahtar noktalarını algılamayı ve izlemeyi öğrenir.
• Performansı izleyin: Ultralytics paketi ayrıca doğruluk ve kayıp gibi temel metrikleri izlemek için yerleşik araçlar sunarak modelin zamanla gelişmesini sağlamaya yardımcı olur.
• Kaydedin ve dağıtın: Eğitildikten sonra model dışa aktarılabilir ve gerçek zamanlı el takibi uygulamaları için kullanılabilir.

Link to this sectionÖzel olarak eğitilmiş modelinizi değerlendirme#

Özel bir model oluşturma adımlarını izlerken, performansı izlemenin gerekli olduğunu fark edeceksiniz. Eğitim sırasında ilerlemeyi izlemenin yanı sıra, modelin el anahtar noktalarını doğru bir şekilde algıladığından ve izlediğinden emin olmak için sonrasında değerlendirme yapmak çok önemlidir.

Doğruluk, kayıp değerleri ve ortalama hassasiyet (mAP) gibi temel performans metrikleri, modelin ne kadar iyi performans gösterdiğini değerlendirmeye yardımcı olur. Ultralytics Python paketi, sonuçları görselleştirmek ve tahminleri gerçek etiketlerle karşılaştırmak için yerleşik araçlar sunarak iyileştirilmesi gereken alanları tespit etmeyi kolaylaştırır.

Modelin performansını daha iyi anlamak için, eğitim günlüklerinde otomatik olarak oluşturulan kayıp eğrileri, hassasiyet-duyarlılık grafikleri ve karışıklık matrisleri gibi değerlendirme grafiklerini kontrol edebilirsiniz.

Bu grafikler, aşırı uyum (modelin eğitim verilerini ezberlemesi ancak yeni verilerle zorlanması) veya yetersiz uyum (modelin doğru performans göstermek için kalıpları yeterince iyi öğrenememesi) gibi sorunları belirlemeye yardımcı olur ve doğruluğu artırmak için ayarlamalara rehberlik eder. Ayrıca, modelin gerçek dünya senaryolarında ne kadar iyi çalıştığını görmek için yeni görüntüler veya videolar üzerinde test etmek önemlidir.

Link to this sectionYapay zeka destekli el takibi çözümlerinin uygulamaları#

Şimdi, Ultralytics YOLO11 ile el anahtar noktası kestiriminin en etkili uygulamalarından bazılarına göz atalım.

Link to this sectionYOLO11 ile gerçek zamanlı jest tanıma#

Diyelim ki sadece elinizi sallayarak televizyonunuzun sesini ayarlayabiliyor veya havada basit bir kaydırma hareketiyle akıllı ev sisteminde gezinebiliyordunuz. YOLO11 destekli gerçek zamanlı jest tanıma, el hareketlerini gerçek zamanlı olarak doğru bir şekilde algılayarak bu temassız etkileşimleri mümkün kılar.

Bu, elinizdeki önemli noktaları izlemek ve jestleri komut olarak yorumlamak için yapay zeka kameraları kullanarak çalışır. Derinlik algılayan kameralar, kızılötesi sensörler veya hatta normal web kameraları el hareketlerini yakalarken, YOLO11 verileri işleyerek farklı jestleri tanıyabilir. Örneğin, böyle bir sistem bir şarkıyı değiştirmek için kaydırma hareketi, yakınlaştırmak için çimdikleme veya sesi ayarlamak için dairesel bir hareket arasındaki farkı ayırt edebilir.

Link to this sectionİşaret dili tanıma için yapay zeka tabanlı el anahtar noktası algılama#

El takibi için yapay zeka çözümleri, işitme engelli bir kişi ile işaret dili bilmeyen biri arasında kesintisiz iletişimi destekleyebilir. Örneğin, kameralar ve YOLO11 ile entegre edilmiş akıllı cihazlar, işaret dilini anında metne veya konuşmaya çevirmek için kullanılabilir.

YOLO11 gibi ilerlemeler sayesinde, işaret dili çeviri araçları daha doğru ve erişilebilir hale geliyor. Bu, yardımcı teknoloji, canlı çeviri hizmetleri ve eğitim platformları gibi uygulamaları etkiler. Yapay zeka, iş yerlerinde, okullarda ve halka açık alanlarda iletişim boşluklarını kapatmaya ve kapsayıcılığı teşvik etmeye yardımcı olabilir.

Link to this sectionEl takibi için bilgisayarlı görü: AR ve VR deneyimlerini iyileştirme#

Hiç bir kontrolcü kullanmadan nesneleri tutabildiğiniz bir sanal gerçeklik (VR) oyunu oynadınız mı? Bilgisayarlı görü ile desteklenen el takibi, kullanıcıların artırılmış gerçeklik (AR) ve VR ortamlarında doğal bir şekilde etkileşim kurmalarını sağlayarak bunu mümkün kılar.

Şekil 4. El takibi, AR ve VR uygulamalarının önemli bir parçasıdır.

Ultralytics YOLO11 gibi modelleri kullanan el anahtar noktası kestirimi ile yapay zeka, hareketleri gerçek zamanlı olarak izleyerek çimdikleme, tutma ve kaydırma gibi jestleri mümkün kılar. Bu, oyun deneyimini, sanal eğitimi ve uzaktan iş birliğini geliştirerek etkileşimleri daha sezgisel hale getirir. El takibi teknolojisi geliştikçe, AR ve VR daha sürükleyici ve gerçekçi hissettirecektir.

Link to this sectionÖne çıkanlar#

Ultralytics YOLO11 ile el anahtar noktası kestirimi, yapay zeka destekli el takibi çözümlerini daha erişilebilir ve güvenilir hale getiriyor. Gerçek zamanlı jest tanımadan işaret dili tercümesine ve AR/VR uygulamalarına kadar, bilgisayarlı görü insan-bilgisayar etkileşiminde yeni olasılıklar açıyor.

Ayrıca, optimize edilmiş özel eğitim ve ince ayar süreçleri, geliştiricilerin çeşitli gerçek dünya kullanımları için verimli modeller oluşturmasına yardımcı oluyor. Bilgisayarlı görü teknolojisi geliştikçe, sağlık, robotik, oyun ve güvenlik gibi alanlarda daha da fazla yenilik bekleyebiliriz.

Topluluğumuzla etkileşime geçin ve GitHub depomuzdaki yapay zeka gelişmelerini keşfedin. Çözüm sayfalarımız aracılığıyla AI in manufacturing ve computer vision in healthcare etkisini keşfedin. Lisans planlarımıza göz atın ve yapay zeka yolculuğunuza bugün başlayın!