Görüntü yapay zekâsı temassız hareket tanıma teknolojisini mümkün kılıyor

Teknoloji geliştikçe, onunla etkileşim kurma biçimimiz de gelişiyor. İlk makineler fiziksel güce ve mekanik kontrollere dayanırken modern bilgisayar bilimi, dokunmatik ekranları ve sesli girişi ortaya çıkardı.

Şimdi jest tanıma, doğal hareketleri kullanıcı arayüzü olarak kullanan bir sonraki adımın parçası. Basit bir el sallama, parmakları birleştirme veya hızlı bir el işareti bile uygulamaları, ekranları ve makineleri kontrol edebiliyor.

Bu dokunmadan etkileşim, bir kameranın yakaladıklarını makinelerin görmesine ve yorumlamasına yardımcı olan yapay zekâ dalı bilgisayarlı görü ile mümkün kılınabilir. Görüntüleme yapay zekâsı sistemleri akıllı telefonlara, sanal gerçeklik (VR) ve artırılmış gerçeklik (AR) başlıklarına, otomobillere ve akıllı ev cihazlarına entegre edilebilir; böylece daha akıcı bir kullanıcı deneyimi için dokunuşların, tıklamaların ve düğmelerin yerini jestler alabilir.

Dokunmasız kontrol günlük yaşamda giderek yaygınlaşıyor. İş yerlerinde ve ortak kullanım alanlarında fiziksel temastan kaçınmak hijyeni ve güvenliği artırabilir. Birçok dijital ürün de eller serbest etkileşime yöneliyor ve jestler, cihazlara dokunmadan onları kontrol etmek için kolay ve sezgisel bir yol sunuyor.

Bu makalede jest tanımanın ne olduğunu, bilgisayarlı görünün bunu nasıl daha doğru hâle getirdiğini ve gerçek dünya uygulamalarında nerelerde kullanıldığını inceleyeceğiz. Hadi başlayalım!

Jest tanıma nedir?#

Jest tanıma, makinelerin el işaretleri veya vücut hareketleri gibi insan jestlerini anlamasını ve bunları dijital eylemlere dönüştürmesini sağlayan bir algılama teknolojisidir. Kullanıcılar ekrana dokunmak veya düğmelere basmak yerine cihazları basit ve doğal hareketlerle kontrol edebilir.

Bu, etkileşimleri daha sezgisel hissettirir ve jest tabanlı girişin birçok makine öğrenimi ve yapay zekâ destekli kontrol sisteminde benimsenmesinin nedenidir. Özellikle el jesti tanıma, en yaygın kullanılan jest tanıma biçimlerinden biridir ve genellikle bilgisayarlı görüye dayanır.

Basitçe ifade etmek gerekirse, bir görüntüleme yapay zekâsı çözümü kamera akışındaki elleri belirleyebilir, nasıl hareket ettiklerini veya şekillerinin nasıl değiştiğini izleyebilir ve ekranda bir eylemi tetiklemek için bu kalıpları bilinen bir jestle eşleştirebilir.

Bu çözümlerin önemli bir parçası, farklı el jestlerini gösteren etiketli görüntü veya video veri kümeleriyle eğitilen bir bilgisayarlı görü modeli dir. Çeşitli eğitim verileri ve dikkatli değerlendirme sayesinde model, farklı kullanıcılar, aydınlatma koşulları ve arka planlar arasında daha iyi genelleme yapabilir ve gerçek dünya koşullarında jestleri daha güvenilir biçimde tanıyabilir.

Şekil 1. Jest anahtar noktalarını algılayan bir bilgisayarlı görü modelini eğitmek için kullanılan veriler (Kaynak)

Farklı jest türlerini ve insan-bilgisayar etkileşimini inceleme#

Bilgisayarlı görünün jest tanımadaki rolünü daha yakından incelemeden önce bir adım geri çekilip bu sistemlerin genellikle tanıdığı jest türlerine bakalım.

Çoğu durumda jestler iki kategoriye ayrılır: statik ve dinamik. Statik jestler, başparmak kaldırma, dur işareti veya zafer işareti gibi sabit el pozlarıdır. Hareket içermedikleri için genellikle tek bir görüntü karesinden tanınabilirler.

Buna karşılık dinamik jestler, havada el sallama veya kaydırma gibi zaman içinde gerçekleşen hareketleri içerir. Bunları tanımak için görüntüleme yapay zekâsı sisteminin birden fazla kareyi analiz ederek elin nasıl hareket ettiğini ve jestin yönüyle zamanlamasını anlaması gerekir.

Jest tanımada bilgisayarlı görü algoritmalarının rolü#

Jest tanıma sistemleri farklı şekillerde oluşturulabilir. Bazı giriş yöntemi sistemleri, el hareketlerini yakalamak için eldivenler veya bileğe takılan izleyiciler gibi giyilebilir sensörler kullanır.

Bu kurulumlar doğru sonuçlar verebilir, ancak her zaman pratik değildir. Giyilebilir cihazların takılması, kurulması, şarj edilmesi ve bakımlarının yapılması gerekir; ayrıca ortak kullanım alanlarında veya günlük kullanımda kısıtlayıcı hissedilebilirler.

Bu nedenle birçok ileri teknoloji sistem bunun yerine bilgisayarlı görüye dayanır. Standart RGB kameralar ve derinlik veya uçuş süresi sensörleriyle cihazlar, kullanıcıların ek cihazlar takmasına gerek kalmadan el ve vücut hareketlerini gerçek zamanlı olarak yakalayabilir. Bu da görüntüleme tabanlı jest tanımayı akıllı telefonlar, otomobiller, akıllı TV'ler ve AR ile VR başlıkları için ideal hâle getirir.

Örneğin Ultralytics YOLO11 ve yakında çıkacak Ultralytics YOLO26 gibi bilgisayarlı görü modelleri nesne algılama, nesne izleme ve poz tahmini gibi görevleri destekler. Bu yetenekler her karede elleri algılamak, zaman içinde hareketlerini izlemek ve parmak uçları ile eklemler gibi anahtar noktaları eşlemek için kullanılabilir. Böylece duraklatmak için kaldırılmış bir avuç içi, yakınlaştırmak için parmakları birleştirme, menülerde gezinmek için kaydırma veya AR ve VR'de bir öğeyi seçmek için işaret etme gibi jestleri tanımak mümkün olur.

İnsan-makine etkileşimini tanımada kullanılan bilgisayarlı görü görevleri#

Jest tanımada kullanılan temel bilgisayarlı görü görevlerinden bazılarına genel bir bakış:

• Nesne algılama: Bu görev, genellikle ellerin çevresine sınırlayıcı kutular çizerek bir görüntü veya video karesindeki ellerin konumunu belirlemek için kullanılır. Sistemin jest alanına odaklanmasına ve gereksiz arka plan ayrıntılarını yok saymasına yardımcı olur.
• Nesne izleme: Bu görev, nesne algılamayı temel alarak algılanan elleri birden fazla kare boyunca izler ve zaman içinde kimliklerini korur. Hareket ve yönün kritik olduğu dinamik jestler için özellikle kullanışlıdır.
• Poz tahmini: Poz tahmini, sınırlayıcı kutulara odaklanmak yerine el üzerindeki parmak uçları, parmak eklemleri ve bilek gibi anahtar noktaları belirler. Bu işaret noktaları, parmak konumlarını ve ince hareketleri yakalayan basit bir el iskeleti oluşturur ve daha ayrıntılı jest sınıflandırması sağlar.
• Örnek segmentasyonu: Bu görev, görünen her el için bir maske oluşturarak her eli arka plandan piksel düzeyinde ayırmayı amaçlar. Karmaşık sahnelerde, ellerin üst üste geldiği durumlarda veya karede birden fazla el göründüğünde faydalıdır.

Birçok görüntüleme yapay zekâsı çözümü bu görevleri tek bir işlem hattının parçası olarak birlikte kullanır. Örneğin bir sistem, elleri bulmak için nesne algılamayla başlayıp dinamik jestlerde elleri kareler boyunca takip etmek için izlemeyi kullanabilir.

Jest parmakların konumuna bağlıysa poz tahmini daha ince ayrıntılar için anahtar noktalar ekleyebilir; örnek segmentasyonu ise karmaşık sahnelerde veya birden fazla elin üst üste geldiği durumlarda her eli daha hassas biçimde ayırmaya yardımcı olabilir. Birlikte çalışan bu adımlar hem konum hem de hareket bilgisi sağlayarak jest tanımayı daha doğru ve güvenilir hâle getirir.

Görüntüleme tabanlı jest tanıma nasıl çalışır?#

Artık jest tanımanın arkasındaki bilgisayarlı görü görevlerini daha iyi anladığımıza göre, görüntüleme tabanlı bir sistemin nasıl çalıştığına adım adım bakalım.

Tipik bir sistem, bir kameradan video yakalayarak başlar; cihaz destekliyorsa bazen derinlik verileri de alınır. Ardından kareler, yeniden boyutlandırma, sabitleme veya gürültüyle hareket bulanıklığını azaltma gibi görüntü işleme yöntemleriyle modelin bunları tutarlı biçimde işlemesini kolaylaştıracak şekilde ön işlenir.

Sonraki adımda sistem, algılama veya segmentasyon kullanarak karedeki elleri belirler ve izleme ile bunları zaman içinde takip eder. Uygulamanın daha ince ayrıntılara ihtiyacı varsa parmak uçları ve eklemler gibi anahtar noktaları çıkarmak için poz tahmini de çalıştırabilir. Model bu bilgiyi kullanarak jesti sınıflandırır; bu jest, başparmak kaldırma gibi tek karelik bir poz veya kaydırma gibi bir hareket kalıbı olabilir.

Son olarak tanınan jest, kaydırma, yakınlaştırma, bir öğe seçme, ses düzeyini ayarlama veya AR ve VR etkileşimlerini kontrol etme gibi arayüzdeki bir eylemle eşleştirilir. Kesin işlem hattı değişebilir; daha basit uygulamalar daha az adım kullanırken daha karmaşık uygulamalar daha iyi doğruluk için algılama, izleme ve poz tahminini birleştirir.

Görüntüleme tabanlı jest tanıma uygulamaları#

Şimdi, el konumlarını anlamak için jest tanımanın gerçek dünya uygulamalarında nasıl kullanıldığını inceleyelim.

Otomobil bilgi-eğlence sistemlerinde jest tabanlı etkileşim#

Jest tanıma, özellikle bilgi-eğlence sistemlerinde olmak üzere akıllı araç arayüzlerinde görülmeye başlıyor. Bazı özellikleri basit el hareketleriyle kontrol etmenin pratik bir yoludur ve sürücülerin dokunmatik ekranlara veya fiziksel düğmelere uzanma ihtiyacını azaltabilir. Örneğin hızlı bir jest, ses düzeyini ayarlamak, çağrıları yönetmek veya ekrandaki menülerde gezinmek için kullanılabilir.

Şekil 2. Bilgi-eğlence sisteminin algılama menzilinde el jestleri yapan bir sürücü (Kaynak)

Oyunlarda jest odaklı etkileşimler#

Oyun ve sürükleyici deneyimlerde jest tabanlı kontrol, insanların sanal dünyalarla etkileşim kurma biçimini değiştiriyor. Oyuncular yalnızca kontrolcülere veya kumandalara bağlı kalmak yerine menülerde gezinmek, sanal nesneleri almak, karakterleri kontrol etmek veya bir oyunda eylemleri tetiklemek için doğal el hareketlerini kullanabilir.

Şekil 3. El jestleri kullanarak oyun oynama (Kaynak).

Bu tür dokunmadan etkileşim, özellikle AR ve VR'de daha akıcı hissettirebilir. Bunun sonucunda el izleme ve jest kontrolü, VR ve karma gerçeklik başlıklarında yaygın özellikler hâline geliyor.

Akıllı ev cihazları için kesintisiz jest kontrolü#

Akıllı TV'ler, hoparlörler ve bağlantılı ışıklar gibi akıllı ev cihazları, hızlı ve dokunmadan gerçekleştirilen eylemler için jest tabanlı kontrolü desteklemeye başlıyor. Kullanıcılar basit bir el hareketiyle ışıkları açabilir, ses düzeyini ayarlayabilir veya düğmelere ya da kumandalara uzanmadan temel komutları tetikleyebilir.

Örneğin ev eğlence sistemlerinde, dahili veya bağlı derinlik kameraları kaydırma, işaret etme veya el kaldırma gibi jestleri tanıyabilir. Bu, odanın diğer ucundan menülere göz atmayı, ayarları değiştirmeyi veya seçimleri onaylamayı kolaylaştırabilir. Arka planda bilgisayarlı görü modelleri, bu jestleri algılamak ve yorumlamak için kamera akışını gerçek zamanlı olarak işler.

Robotikte yapay zekâ destekli jest kontrolü#

Bir fabrikada çalışanın parçaları taşırken, eldiven takarken veya hareketli ekipmandan güvenli bir uzaklıkta dururken bir robota yön vermesi gereken bir durumu düşün. Bu koşullarda düğmelere veya kontrol paneline uzanmak yavaş, hatta güvenli olmayabilir.

Buna karşılık jest tabanlı kontrol sistemleri, bu makinelerle etkileşim kurmak için daha pratik ve eller serbest bir yol olabilir. Bu, özellikle insanlarla birlikte çalışmak üzere tasarlanmış işbirlikçi robotlar veya cobot'lar için kullanışlıdır.

Operatörler bir kontrol paneline gitmek yerine uzaktan basit el işaretleri kullanarak robotu başlatabilir, durdurabilir veya yönlendirebilir. Bu, fiziksel kontrollere olan bağımlılığı azaltır ve üretim alanındaki iş akışlarının daha güvenli olmasını destekleyebilir.

Derin öğrenme modelleri veya öğrenme algoritmalarıyla mümkün kılınan gelişmiş görüntüleme tabanlı kontrol sistemleri, temel komutların ötesine de geçebilir. Daha ince el hareketlerini yorumlayabilir ve küçük yön değişikliklerine, daha hassas yönlendirmelere ve otomasyona akıcı biçimde yanıt verebilirler.

Şekil 4. Bir kullanıcının jestini analiz eden robotik el (Kaynak)

Jest tanıma teknolojisinin artıları ve eksileri#

Jest tanıma teknolojisini kullanmanın başlıca faydaları şunlardır:

• Gelişmiş erişilebilirlik: Jestler, klavyeleri, dokunmatik ekranları veya kontrolcüleri kullanmakta zorlanan kullanıcılar için bir alternatif sunabilir.
• Uzaktan çalışır: Jestler odanın diğer ucundan tanınabilir; bu da akıllı TV'ler, kiosklar ve ev cihazları için faydalıdır.
• Cihazlar arasında esnektir: Benzer jest kümeleri telefonlarda, otomobillerde, akıllı ekranlarda ve AR veya VR başlıklarında çalışabilir ve etkileşimi tutarlı hâle getirir.

Bununla birlikte doğruluğu ve tutarlılığı etkileyebilecek bazı gerçek dünya zorlukları vardır. Dikkate alınması gereken bazı faktörler şunlardır:

• Aydınlatma ve kamera kalitesi sorunları: Düşük ışık, parlama, gölgeler veya düşük çözünürlüklü kameralar tanıma performansını düşürebilir. Bu da hareket kontrolünü etkileyebilir.
• Kullanıcılar arasındaki farklılıklar: İnsanlar jestleri doğal olarak farklı biçimlerde gerçekleştirir ve el boyutu, parmak esnekliği veya aksesuar farklılıkları doğruluğu etkileyebilir.
• Hızlı hareket sınırlamaları: Hızlı jestler, özellikle düşük kare hızlı kameralarda hareket bulanıklığına yol açabilir veya modelin temel kareleri kaçırmasına neden olabilir.

Önemli çıkarımlar#

Jest tanıma teknolojisi araştırma laboratuvarlarının ötesine geçti ve artık günlük cihazların ve yeniliklerin bir parçası. Özellikle bilgisayarlı görü, oyun, robotik, akıllı evler ve otomotiv sistemlerinde dokunmadan kontrolü mümkün kılıyor. Görüntüleme modelleri geliştikçe bu dokunmadan arayüzlerin oluşturulması muhtemelen kolaylaşacak ve kullanım alanları genişleyecek.

Bilgisayarlı görü modelleri hakkında daha fazla bilgi edinmek için topluluğumuzu ve GitHub depomuzu keşfet. Tarımda yapay zekâ ve lojistikte bilgisayarlı görü gibi uygulamalar hakkında bilgi edinmek için çözüm sayfalarımızı incele. Lisanslama seçeneklerimize göz at ve kendi görüntüleme yapay zekâsı modelini oluşturmaya başla.