Görsel yapay zekâ temassız hareket tanıma teknolojisini mümkün kılıyor

Teknoloji geliştikçe onunla etkileşim kurma biçimimiz de gelişiyor. İlk makineler fiziksel güç ve mekanik kontrollere dayanırken modern bilgisayar bilimi dokunmatik ekranları ve sesli girişi hayatımıza kattı.

Şimdi sıradaki adımlardan biri de hareketleri tanıma; bu teknoloji, kullanıcı arayüzü olarak doğal hareketleri kullanıyor. Basit bir el sallama, parmakları kıstırma veya hızlı bir el işaretiyle uygulamaları, ekranları ve makineleri kontrol etmek artık mümkün.

Bu temassız etkileşim, makinelerin kameranın yakaladıklarını görüp yorumlamasına yardımcı olan bir AI dalı olan bilgisayarlı görü ile sağlanabilir. Görsel AI sistemleri akıllı telefonlara, sanal gerçeklik (VR) ve artırılmış gerçeklik (AR) başlıklarına, otomobillere ve akıllı ev cihazlarına entegre edilebilir. Bu sistemlerde hareketler, daha akıcı bir kullanıcı deneyimi için dokunma, tıklama ve düğmelerin yerini alabilir.

Temassız kontrol günlük yaşamda giderek yaygınlaşıyor. İş yerlerinde ve ortak alanlarda fiziksel temastan kaçınmak hijyen ve güvenliği artırabilir. Birçok dijital ürün de eller serbest etkileşime yöneliyor; hareketler, cihazlara dokunmadan onları kontrol etmek için kolay ve sezgisel bir yol sunuyor.

Bu makalede jest tanımanın ne olduğunu, bilgisayarlı görünün bu tanıma işlemini nasıl daha doğru hâle getirdiğini ve gerçek dünya uygulamalarında nerelerde kullanıldığını inceleyeceğiz.

Hareket tanıma nedir?#

Hareket tanıma, makinelerin el işaretleri veya vücut hareketleri gibi insan hareketlerini anlamasını ve bunları dijital eylemlere dönüştürmesini sağlayan bir algılama teknolojisidir. Kullanıcılar ekrana dokunmak veya düğmelere basmak yerine cihazları basit ve doğal hareketlerle kontrol edebilir.

Bu teknoloji etkileşimleri daha sezgisel hâle getirir; hareket tabanlı girişin birçok makine öğrenimi ve AI destekli kontrol sisteminde benimsenmesinin nedeni de budur. Özellikle el hareketi tanıma, en yaygın hareket tanıma biçimlerinden biridir ve çoğunlukla bilgisayarlı görüden yararlanır.

Basitçe söylemek gerekirse görsel AI çözümü, kamera görüntüsündeki elleri bulabilir, nasıl hareket ettiklerini veya şekillerinin nasıl değiştiğini izleyebilir ve bu örüntüleri bilinen bir hareketle eşleştirerek ekranda bir eylemi tetikleyebilir.

Bu çözümlerin temel bileşenlerinden biri, farklı el hareketlerini gösteren etiketli görüntü veya videolardan oluşan veri kümeleriyle eğitilen bir bilgisayarlı görü modelidir. Çeşitli eğitim verileri ve dikkatli değerlendirmeyle model; farklı kullanıcılara, ışık koşullarına ve arka planlara daha iyi genelleme yapabilir, böylece gerçek dünya koşullarında hareketleri daha güvenilir biçimde tanıyabilir.

Şekil 1. Hareket anahtar noktalarını algılamak üzere bir bilgisayarlı görü modelini eğitmek için kullanılan veriler (Kaynak)

Farklı hareket türlerini ve insan-bilgisayar etkileşimini inceleme#

Bilgisayarlı görünün hareket tanımadaki rolünü daha yakından incelemeden önce, bir adım geriye çekilip bu sistemlerin genellikle tanıdığı hareket türlerine bakalım.

Çoğu durumda hareketler statik ve dinamik olmak üzere iki kategoriye ayrılır. Statik hareketler, başparmak yukarı işareti, dur işareti veya zafer işareti gibi sabit el pozlarıdır. Hareket içermediklerinden genellikle tek bir görüntü karesinden tanınabilirler.

Dinamik hareketler ise el sallamak veya havada kaydırma yapmak gibi zaman içinde gerçekleşen hareketleri içerir. Bunları tanımak için görsel AI sisteminin elin nasıl hareket ettiğini izleyebilmesi ve hareketin yönünü ve zamanlamasını anlayabilmesi amacıyla birden fazla kareyi analiz etmesi gerekir.

Hareket tanımada bilgisayarlı görü algoritmalarının rolü#

Jest tanıma sistemleri farklı yöntemlerle oluşturulabilir. Bazı sistemler el hareketlerini yakalamak için eldiven veya bileğe takılan izleyiciler gibi giyilebilir sensörler kullanır.

Bu sistemler doğru sonuç verebilir, ancak her zaman kullanışlı değildir. Giyilebilir cihazların takılması, kurulması, şarj edilmesi ve bakımının yapılması gerekir; ayrıca ortak alanlarda veya günlük kullanımda kısıtlayıcı olabilirler.

Bu nedenle birçok modern sistem bunun yerine bilgisayarlı görüye dayanıyor. Standart RGB kameralar ve derinlik ya da uçuş süresi sensörleri sayesinde cihazlar, kullanıcıların ek cihaz takmasına gerek kalmadan el ve vücut hareketlerini gerçek zamanlı olarak yakalayabiliyor. Bu özellik, görüntü tabanlı jest tanımayı akıllı telefonlar, otomobiller, akıllı TV'ler ve AR ile VR başlıkları için ideal kılıyor.

Örneğin Ultralytics YOLO11 ve daha yeni Ultralytics YOLO26 gibi bilgisayarlı görü modelleri; nesne algılama, nesne izleme ve poz tahmini gibi görevleri destekler. Bu özellikler, her karedeki elleri algılamak, hareketlerini zaman içinde izlemek ve parmak uçları ile eklemler gibi kilit noktaları eşlemek için kullanılabilir. Böylece duraklatmak için kaldırılmış avuç içi, yakınlaştırmak için kıstırma, menülerde gezinmek için kaydırma veya AR ve VR'de bir öğe seçmek için işaret etme gibi jestler tanınabilir.

İnsan-makine etkileşimini tanımada kullanılan bilgisayarlı görü görevleri#

Hareket tanımada kullanılan temel bilgisayarlı görü görevlerinden bazılarına genel bir bakış:

• Nesne algılama: Bu görev, genellikle ellerin çevresine sınırlayıcı kutular çizerek görüntü veya video karesindeki ellerin konumunu belirlemek için kullanılır. Sistemin jest alanına odaklanmasına ve gereksiz arka plan ayrıntılarını göz ardı etmesine yardımcı olur.
• Nesne takibi: Nesne algılamayı temel alan bu görev, algılanan elleri birden fazla kare boyunca izler ve zaman içinde kimliklerini korur. Hareket ve yönün kritik olduğu dinamik hareketlerde özellikle kullanışlıdır.
• Poz tahmini: Poz tahmini, sınırlayıcı kutulara odaklanmak yerine parmak uçları, boğumlar ve bilek gibi eldeki kilit noktaları belirler. Bu işaret noktaları, parmak konumlarını ve ince hareketleri yakalayan basit bir el iskeleti oluşturur ve daha ayrıntılı jest sınıflandırmasını mümkün kılar. El Kilit Noktaları gibi veri kümeleri eğitim için etiketlenmiş el işaret noktaları sağlar.
• Örnek bölütleme: Bu görev, görünür her el için bir maske oluşturarak pikseller düzeyinde her eli arka plandan ayırmayı amaçlar. Karmaşık sahnelerde, eller üst üste geldiğinde veya karede birden fazla el bulunduğunda yararlıdır.

Birçok görsel AI çözümü bu görevleri tek bir işlem hattının parçası olarak birlikte kullanır. Örneğin bir sistem, elleri bulmak için nesne algılamayla başlayıp dinamik hareketlerde onları kareler boyunca izlemek için takibi kullanabilir.

Hareket parmakların konumuna bağlıysa poz tahmini daha ayrıntılı bilgi için anahtar noktalar ekleyebilir; örnek bölütleme ise karmaşık sahnelerde veya birden fazla elin üst üste geldiği durumlarda her eli daha hassas biçimde ayırmaya yardımcı olabilir. Bu adımlar birlikte hem konum hem de hareket bilgisi sağlayarak hareket tanımayı daha doğru ve güvenilir hâle getirir.

Görüntü tabanlı hareket tanıma nasıl çalışır?#

Hareket tanımanın temelindeki bilgisayarlı görü görevlerini artık daha iyi anladığımıza göre, görüntü tabanlı bir sistemin nasıl çalıştığına adım adım bakalım.

Tipik bir sistem, bazen cihaz destekliyorsa derinlik verileriyle birlikte kameradan video yakalayarak işe başlar. Daha sonra kareler, yeniden boyutlandırma, sabitleme veya gürültü ve hareket bulanıklığını azaltma gibi görüntü işleme yöntemleriyle önceden işlenerek modelin kareleri tutarlı biçimde işlemesi kolaylaştırılır.

Ardından sistem, algılama veya bölütleme kullanarak karedeki elleri belirler ve izleme yoluyla zaman içinde takip eder. Uygulamanın daha ince ayrıntılara ihtiyacı varsa parmak uçları ve eklemler gibi kilit noktaları çıkarmak için poz tahmini de yapabilir. Model bu bilgileri kullanarak jesti sınıflandırır; bu, başparmak yukarı gibi tek karelik bir poz ya da kaydırma gibi bir hareket örüntüsü olabilir.

Son olarak tanınan hareket, arayüzde kaydırma, yakınlaştırma, bir öğeyi seçme, sesi ayarlama veya AR ve VR etkileşimlerini kontrol etme gibi bir eyleme eşlenir. Kullanılan işlem hattı değişebilir; basit uygulamalar daha az adım kullanırken daha karmaşık uygulamalar daha yüksek doğruluk için algılama, takip ve poz tahminini bir araya getirir.

Görüntü tabanlı hareket tanıma uygulamaları#

Şimdi görüntü tabanlı jest tanımanın gerçek dünya uygulamalarından bazılarına göz atalım.

Araç bilgi-eğlence sistemlerinde hareket tabanlı etkileşim#

Hareket tanıma, özellikle bilgi-eğlence sistemlerinde olmak üzere akıllı araç arayüzlerinde görülmeye başlıyor. Belirli özellikleri basit el hareketleriyle kontrol etmenin kullanışlı bir yoludur ve sürücülerin dokunmatik ekranlara veya fiziksel düğmelere uzanma ihtiyacını azaltabilir. Örneğin, hızlı bir hareketle ses düzeyi ayarlanabilir, aramalar yönetilebilir veya ekrandaki menülerde gezinilebilir.

Şekil 2. Bilgi-eğlence sisteminin algılama alanında el hareketleri yapan bir sürücü (Kaynak)

Oyunlarda hareketle kontrol edilen etkileşimler#

Oyunlarda ve sürükleyici deneyimlerde hareket tabanlı kontrol, insanların sanal dünyalarla etkileşim kurma biçimini değiştiriyor. Oyuncular yalnızca kontrolcülere veya oyun çubuklarına bağlı kalmak yerine menülerde gezinmek, sanal nesneleri almak, karakterleri kontrol etmek veya oyun içi eylemleri tetiklemek için doğal el hareketlerini kullanabilir.

Şekil 3. El hareketlerini kullanarak oyun oynama (Kaynak).

Bu tür temassız etkileşim, özellikle AR ve VR'de daha akıcı hissettirebilir. Bu nedenle el takibi ve hareketle kontrol, VR ve karma gerçeklik başlıklarında yaygın özellikler hâline geliyor.

Akıllı ev cihazları için sorunsuz hareket kontrolü#

Akıllı TV'ler, hoparlörler ve bağlantılı ışıklar gibi akıllı ev cihazları, hızlı ve temassız eylemler için hareket tabanlı kontrolü desteklemeye başlıyor. Kullanıcılar basit bir el hareketiyle düğmelere veya kumandalara uzanmadan ışıkları açabilir, ses düzeyini ayarlayabilir veya temel komutları çalıştırabilir.

Örneğin, ev eğlence sistemlerinde yerleşik veya bağlı derinlik kameraları kaydırma, işaret etme ya da el kaldırma gibi hareketleri tanıyabilir. Bu, odanın diğer ucundan menülere göz atmayı, ayarları değiştirmeyi veya seçimleri onaylamayı kolaylaştırabilir. Arka planda bilgisayarlı görü modelleri, bu hareketleri algılamak ve yorumlamak için kamera görüntüsünü gerçek zamanlı olarak işler.

Robotikte yapay zekâ destekli hareket kontrolü#

Bir fabrikada, elinde parça taşıyan, eldiven giyen veya hareketli ekipmandan güvenli bir mesafede duran bir çalışanın bir robota yön vermesi gerektiğini düşün. Bu koşullarda düğmelere veya kontrol paneline uzanmak yavaş, hatta güvensiz olabilir.

Buna karşılık, hareket tabanlı kontrol sistemleri bu makinelerle etkileşim kurmak için daha kullanışlı ve eller serbest bir yol sunabilir. Bu sistemler, insanlarla yan yana çalışmak üzere tasarlanmış iş birlikçi robotlar, yani kobotlar için özellikle kullanışlıdır.

Operatörler kontrol paneline gitmek yerine uzaktan basit el işaretleriyle bir robotu başlatabilir, durdurabilir veya yönlendirebilir. Bu, fiziksel kontrollere bağımlılığı azaltır ve üretim alanındaki iş akışlarının daha güvenli olmasını sağlayabilir.

Derin öğrenme modelleri veya öğrenme algoritmalarıyla desteklenen gelişmiş görüntü tabanlı kontrol sistemleri, temel komutların ötesine de geçebilir. Daha ince el hareketlerini yorumlayıp küçük yön değişikliklerine akıcı biçimde yanıt vererek daha hassas yönlendirme ve otomasyon sağlarlar.

Şekil 4. Kullanıcının hareketini analiz eden robotik bir el (Kaynak)

Hareket tanıma teknolojisinin artıları ve eksileri#

Hareket tanıma teknolojisini kullanmanın temel faydalarından bazıları şunlardır:

• Erişilebilirliğin artması: Hareketler; klavye, dokunmatik ekran veya kontrolcü kullanmakta zorlanan kullanıcılara alternatif sunabilir.
• Uzaktan çalışır: Hareketler odanın diğer ucundan tanınabilir; bu özellik akıllı TV'ler, kiosklar ve ev cihazları için yararlıdır.
• Cihazlar arasında esneklik: Benzer hareket kümeleri telefonlarda, otomobillerde, akıllı ekranlarda ve AR veya VR başlıklarında çalışabilir; böylece etkileşim tutarlı hâle gelir.

Aynı zamanda doğruluğu ve tutarlılığı etkileyebilecek bazı gerçek dünya zorlukları da vardır. Göz önünde bulundurman gereken bazı etkenler şunlardır:

• Işık ve kamera kalitesi sorunları: Düşük ışık, parlama, gölgeler veya düşük çözünürlüklü kameralar tanıma performansını düşürebilir. Bu da hareketle kontrolü olumsuz etkileyebilir.
• Kullanıcılar arasındaki farklılıklar: İnsanlar hareketleri doğal olarak farklı biçimlerde yapar; el boyutu, parmak esnekliği veya kullanılan aksesuarlar arasındaki farklar doğruluğu etkileyebilir.
• Hızlı hareketin sınırlamaları: Hızlı hareketler bulanıklığa yol açabilir veya modelin önemli kareleri kaçırmasına neden olabilir; bu durum özellikle kare hızı düşük kameralarda görülür.

Önemli çıkarımlar#

El hareketi tanıma teknolojisi araştırma laboratuvarlarının ötesine geçti ve artık günlük cihazların ve yeniliklerin bir parçası. Özellikle bilgisayarlı görü; oyunlarda, robotikte, akıllı evlerde ve otomotiv sistemlerinde temassız kontrol olanağı sağlıyor. Görü modelleri geliştikçe bu temassız arayüzleri oluşturmak muhtemelen daha kolay hâle gelecek ve bu arayüzler daha yaygın kullanılacak.

Bilgisayarlı görü modelleri hakkında daha fazla bilgi edinmek için topluluğumuzu ve GitHub depomuzu keşfet. Robotikte bilgisayarlı görü ve lojistikte bilgisayarlı görü gibi uygulamaları çözümler sayfalarımızda incele. Lisanslama seçeneklerimize göz at ve kendi görsel yapay zekâ modelini oluşturmaya başla.