Vision AI temassız hareket tanıma teknolojisini mümkün kılıyor

Teknoloji geliştikçe, onunla etkileşim kurma biçimimiz de gelişiyor. İlk makineler fiziksel çaba ve mekanik kontrollere bağlıyken, modern bilgisayar bilimi dokunmatik ekranları ve sesli girişi kullanıma sundu.

Şimdi ise hareket tanıma, doğal hareketleri kullanıcı arayüzü olarak kullanan bir sonraki adımın bir parçası. Basit bir el sallama, kıstırma veya hızlı bir el işaretiyle şimdiden uygulamaları, ekranları ve makineleri kontrol edebilirsin.

Bu temassız etkileşim, makinelerin bir kameranın yakaladığı şeyi görmesine ve yorumlamasına yardımcı olan bir yapay zeka dalı olan computer vision ile desteklenebilir. Vision AI sistemleri, daha akıcı bir kullanıcı deneyimi için hareketlerin dokunmaların, tıklamaların ve düğmelerin yerini alabildiği akıllı telefonlara, sanal gerçeklik (VR) ve artırılmış gerçeklik (AR) başlıklarına, arabalara ve akıllı ev cihazlarına yerleştirilebilir.

Temassız kontrol günlük hayatta daha yaygın hale geliyor. İş yerlerinde ve ortak alanlarda fiziksel temastan kaçınmak hijyeni ve güvenliği artırabilir. Birçok dijital ürün de eller serbest etkileşime yöneliyor ve hareketler, cihazlara dokunmadan onları kontrol etmenin kolay ve sezgisel bir yolunu sunuyor.

Bu makalede, hareket tanımanın ne olduğunu, bilgisayarlı görü ile nasıl daha doğru hale geldiğini ve gerçek dünya uygulamalarında nerelerde kullanıldığını inceleyeceğiz. Haydi başlayalım!

Hareket tanıma nedir?#

Hareket tanıma, makinelerin el işaretleri veya vücut hareketleri gibi insan hareketlerini anlamasını ve bunları dijital eylemlere dönüştürmesini sağlayan bir algılama teknolojisidir. Kullanıcılar, ekrana dokunmak veya düğmelere basmak yerine basit, doğal hareketlerle cihazları kontrol edebilirler.

Bu, etkileşimlerin daha sezgisel hissedilmesini sağlar ve hareket tabanlı girişin birçok makine öğrenimi ve yapay zeka destekli kontrol sisteminde benimsenmesinin nedenidir. Özellikle el hareketi tanıma, hareket tanımanın en yaygın kullanılan biçimlerinden biridir ve genellikle bilgisayarlı görüye dayanır.

Basitçe ifade etmek gerekirse, bir Vision AI çözümü bir kamera beslemesindeki elleri tespit edebilir, nasıl hareket ettiklerini veya şekil değiştirdiklerini izleyebilir ve ekranda bir eylemi tetiklemek için bu desenleri bilinen bir hareketle eşleştirebilir.

Bu çözümlerin önemli bir parçası, farklı el hareketlerini gösteren etiketli görüntü veya video veri kümeleri üzerinde eğitilen bir computer vision model modelidir. Çeşitli eğitim verileri ve dikkatli değerlendirme sayesinde model, farklı kullanıcılar, aydınlatma koşulları ve arka planlar arasında daha iyi genelleme yapabilir ve gerçek dünya ortamlarında hareketleri daha güvenilir bir şekilde tanınmasına yardımcı olur.

Şekil 1. Hareket anahtar noktalarını tespit etmek için bir computer vision model modelini eğitmekte kullanılan veriler (Kaynak)

Farklı hareket türlerini ve insan-bilgisayar etkileşimini keşfetme#

Bilgisayarlı görünün hareket tanımadaki rolüne daha yakından bakmadan önce, bir adım geri çekilip bu sistemlerin genellikle tanıdığı hareket türlerine bir göz atalım.

Çoğu durumda hareketler iki kategoriye ayrılır: statik ve dinamik. Statik hareketler, baş parmağın yukarıda olması, dur işareti veya zafer işareti gibi sabit el pozlarıdır. Hareket içermediklerinden, genellikle tek bir görüntü karesinden tanınabilirler.

Bu arada dinamik hareketler, havada sallama veya kaydırma gibi zaman içindeki hareketleri içerir. Bunları tanımak için bir Vision AI sisteminin, elin nasıl hareket ettiğini izleyebilmesi ve hareketin yönünü ve zamanlamasını anlayabilmesi için birden fazla kareyi analiz etmesi gerekir.

Hareket tanımada bilgisayarlı görü algoritmalarının rolü#

Hareket tanıma sistemleri farklı şekillerde inşa edilebilir. Bazı giriş yöntemi sistemleri, el hareketini yakalamak için eldiven veya bileğe takılan izleyiciler gibi giyilebilir sensörler kullanır.

Bu kurulumlar doğru olabilir ancak her zaman pratik değildir. Giyilebilir cihazların takılması, kurulması, şarj edilmesi ve bakımının yapılması gerekir ve ortak alanlarda veya günlük kullanımda kısıtlayıcı hissettirebilirler.

İşte bu yüzden birçok ileri teknoloji sistem bunun yerine bilgisayarlı görüye güveniyor. Standart RGB kameralar ve derinlik veya uçuş süresi sensörleri ile cihazlar, kullanıcıların ek cihazlar takmasına gerek kalmadan el ve vücut hareketlerini gerçek zamanlı olarak yakalayabilir. Bu da Vision AI tabanlı hareket tanımanın akıllı telefonlar, arabalar, akıllı TV'ler ve AR ve VR başlıkları için mükemmel bir uyum sağlamasına neden olur.

Örneğin, Ultralytics YOLO11 ve yakında çıkacak olan Ultralytics YOLO26 gibi computer vision modelleri; nesne tespiti, nesne takibi ve poz tahmini gibi görevleri destekler. Bu yetenekler, her karede elleri tespit etmek, zaman içinde hareketlerini izlemek ve parmak uçları ve eklemler gibi anahtar noktaları haritalandırmak için kullanılabilir. Bu, durdurmak için kaldırılmış bir avuç içi, yakınlaştırmak için iki parmakla sıkıştırma, menülerde gezinmek için kaydırma veya AR ve VR'da bir öğe seçmek için işaret etme hareketi gibi hareketlerin tanınmasını mümkün kılar.

İnsan-makine etkileşimi tanıma için kullanılan bilgisayarlı görü görevleri#

İşte hareket tanımada kullanılan bazı temel computer vision tasks görevlerine genel bir bakış:

• Nesne algılama: Bu görev, genellikle etraflarına sınırlayıcı kutular (bbox) çizerek bir görüntü veya video karesindeki elleri konumlandırmak için kullanılır. Sistemin hareket alanına odaklanmasına ve gereksiz arka plan ayrıntılarını görmezden gelmesine yardımcı olur.
• Nesne takibi: Nesne algılamayı temel alan bu görev, algılanan elleri birden fazla kare boyunca izler ve kimliklerini zaman içinde korur. Özellikle hareket ve yönün çok önemli olduğu dinamik hareketler için kullanışlıdır.
• Poz tahmini: Sınırlayıcı kutulara odaklanmak yerine, poz tahmini eldeki parmak uçları, boğumlar ve bilek gibi anahtar noktaları tanımlar. Bu simge yapılar, parmak pozisyonlarını ve ince hareketleri yakalayan basit bir el iskeleti oluşturarak daha ayrıntılı hareket sınıflandırmasına olanak tanır.
• Örnek segmentasyonu: Bu görev, görünür her el için bir maske oluşturarak her bir eli arka plandan piksel düzeyinde ayırmayı amaçlar. Karmaşık sahnelerde, eller üst üste bindiğinde veya karede birden fazla el göründüğünde yardımcı olur.

Birçok Vision AI çözümü bu görevleri tek bir işlem hattının parçası olarak birlikte kullanır. Örneğin, bir sistem elleri bulmak için nesne algılama ile başlayabilir, ardından dinamik hareketler için kareler boyunca onları izlemek için takibi kullanabilir.

Eğer hareket parmak yerleşimine bağlıysa, poz tahmini daha ince ayrıntılar için anahtar noktalar ekleyebilir; örnek segmentasyonu ise karmaşık sahnelerde veya birden fazla el üst üste bindiğinde her bir eli daha hassas bir şekilde izole etmeye yardımcı olabilir. Birlikte çalışan bu adımlar hem konum hem de hareket bilgisi sağlayarak hareket tanımanın daha doğru ve güvenilir olmasını sağlar.

Vision AI tabanlı hareket tanıma nasıl çalışır?#

Artık hareket tanımanın arkasındaki bilgisayarlı görü görevlerini daha iyi anladığımıza göre, Vision AI tabanlı bir sistemin nasıl çalıştığına adım adım bakalım.

Tipik bir sistem, bir kameradan video yakalayarak başlar, bazen cihaz destekliyorsa derinlik verileriyle birlikte. Kareler daha sonra, yeniden boyutlandırma, dengeleme veya gürültüyü ve hareket bulanıklığını azaltma gibi modelin tutarlı bir şekilde işlemesini kolaylaştırmak için görüntü işleme kullanılarak ön işleme tabi tutulur.

Daha sonra sistem, algılama veya segmentasyon kullanarak karedeki elleri tanımlar ve takip kullanarak zaman içinde onları izler. Uygulama daha ince ayrıntılara ihtiyaç duyarsa, parmak uçları ve eklemler gibi anahtar noktaları çıkarmak için poz tahmini de çalıştırabilir. Bu bilgileri kullanan model, hareketin baş parmak yukarıda olması gibi tek karelik bir poz mu yoksa kaydırma gibi bir hareket deseni mi olduğunu sınıflandırır.

Son olarak, tanınan hareket, kaydırma, yakınlaştırma, öğe seçme, ses seviyesini ayarlama veya AR ve VR etkileşimlerini kontrol etme gibi arayüzdeki bir eylemle eşleştirilir. Tam işlem hattı değişebilir; daha basit uygulamalar daha az adım kullanırken, daha karmaşık olanlar daha iyi doğruluk için algılama, takip ve poz tahminini birleştirir.

Vision AI tabanlı hareket tanımanın uygulamaları#

Bir sonraki adımda, el pozisyonlarını anlamak için hareket tanımanın gerçek dünya uygulamalarında nasıl kullanıldığına bir göz atalım.

Araba bilgi-eğlence sistemleri ile hareket tabanlı etkileşim#

Hareket tanıma, özellikle bilgi-eğlence sistemlerinde akıllı araç arayüzlerinde görünmeye başlıyor. Sürücülerin dokunmatik ekranlara veya fiziksel düğmelere uzanma sıklığını azaltabilen basit el hareketleriyle belirli özellikleri kontrol etmenin uygun bir yoludur. Örneğin, hızlı bir hareket ses seviyesini ayarlamak, aramaları yönetmek veya ekran menülerinde gezinmek için kullanılabilir.

Şekil 2. Bir bilgi-eğlence sisteminin algılama menzilinde el hareketleri yapan bir sürücü (Kaynak)

Oyunlarda hareket odaklı etkileşimler#

gaming ve sürükleyici deneyimlerde, hareket tabanlı kontrol, insanların sanal dünyalarla etkileşim kurma biçimini değiştiriyor. Oyuncular yalnızca denetleyicilere veya kumanda kollarına güvenmek yerine, menülerde gezinmek, sanal nesneleri almak, karakterleri kontrol etmek veya bir oyunda eylemleri tetiklemek için doğal el hareketlerini kullanabilir.

Şekil 3. El hareketlerini kullanarak oyun oynamak (Kaynak).

Bu tür temassız etkileşim, özellikle AR ve VR'da daha akıcı hissettirebilir. Sonuç olarak, el takibi ve hareket kontrolü VR ve karma gerçeklik başlıklarında yaygın özellikler haline geliyor.

Akıllı ev cihazları için kusursuz hareket kontrolü#

Akıllı TV'ler, hoparlörler ve internet bağlantılı ışıklar gibi Smart home devices hızlı, temassız eylemler için hareket tabanlı kontrolü desteklemeye başlıyor. Basit bir el hareketiyle kullanıcılar, anahtarlara veya uzaktan kumandalara uzanmadan ışıkları açabilir, ses seviyesini ayarlayabilir veya temel komutları tetikleyebilir.

Örneğin, ev eğlence kurulumlarında, yerleşik olan veya bağlanan derinlik kameraları kaydırma, işaret etme veya el kaldırma gibi hareketleri tanıyabilir. Bu, odanın diğer ucundan menülere göz atmayı, ayarları değiştirmeyi veya seçimleri onaylamayı kolaylaştırabilir. Perde arkasında, bilgisayarlı görü modelleri bu hareketleri tespit etmek ve yorumlamak için kamera beslemesini gerçek zamanlı olarak işler.

Robotikte yapay zeka destekli hareket kontrolü#

Bir fabrikada bir işçinin parça taşırken, eldiven takarken veya hareketli ekipmandan güvenli bir mesafede dururken bir robota rehberlik etmesi gereken bir durumu düşün. Bu ortamlarda düğmelere veya bir kontrol paneline uzanmak yavaş veya hatta güvensiz olabilir.

Buna karşılık, hareket tabanlı kontrol sistemleri, bu makinelerle etkileşim kurmanın daha pratik, eller serbest bir yolu olabilir. Bu, özellikle insanlarla birlikte çalışmak üzere tasarlanmış işbirlikçi robots (veya cobot'lar) için kullanışlıdır.

Operatörler, kontrol paneline gitmek yerine, bir robotu uzaktan başlatmak, durdurmak veya yönlendirmek için basit el sinyallerini kullanabilirler. Fiziksel kontrollere olan bağımlılığı azaltır ve atölye zemininde daha güvenli iş akışlarını destekleyebilir.

Derin öğrenme modelleri veya öğrenme algoritmaları tarafından etkinleştirilen gelişmiş Vision AI tabanlı kontrol sistemleri, temel komutların da ötesine geçebilir. İnce el hareketlerini yorumlayabilir ve küçük yön değişikliklerine ve daha hassas rehberliğe ve otomasyona sorunsuz bir şekilde yanıt verebilirler.

Şekil 4. Bir kullanıcının hareketini analiz eden robotik bir el (Kaynak)

Hareket tanıma teknolojisinin artıları ve eksileri#

İşte hareket tanıma teknolojisini kullanmanın bazı temel faydaları:

• Geliştirilmiş erişilebilirlik: Hareketler, klavyeleri, dokunmatik ekranları veya kontrol cihazlarını kullanmayı zor bulan kullanıcılar için bir alternatif sunabilir.
• Uzaktan çalışır: Hareketler odanın diğer ucundan tanınabilir; bu da akıllı TV'ler, kiosklar ve ev cihazları için yararlıdır.
• Cihazlar arasında esnek: Benzer hareket setleri telefonlar, arabalar, akıllı ekranlar ve AR veya VR başlıklarında çalışabilir, bu da etkileşimi tutarlı hale getirir.

Aynı zamanda, doğruluğu ve tutarlılığı etkileyebilecek birkaç gerçek dünya zorluğu da vardır. İşte dikkate alman gereken bazı faktörler:

• Aydınlatma ve kamera kalitesi sorunları: Düşük Işık, parlama, gölgeler veya düşük çözünürlüklü cameras tanıma performansını düşürebilir. Bu da hareket kontrolünü olumsuz etkileyebilir.
• Kullanıcılar arası farklılıklar: İnsanlar hareketleri doğal olarak farklı şekilde gerçekleştirir ve el boyutu, parmak esnekliği veya aksesuarlardaki farklılıklar doğruluğu etkileyebilir.
• Hızlı hareket sınırlamaları: Hızlı hareketler hareket bulanıklığına yol açabilir veya özellikle düşük kare hızına sahip kameralarda modelin önemli kareleri kaçırmasına neden olabilir.

Öne çıkanlar#

Hareket tanıma teknolojisi araştırma laboratuvarlarının ötesine geçti ve artık günlük cihazların ve yeniliklerin bir parçası. Özellikle bilgisayarlı görü; oyun, robotik, akıllı evler ve otomotiv sistemlerinde temassız kontrolü mümkün kılıyor. Vision AI modelleri geliştikçe, bu temassız arayüzlerin inşa edilmesi muhtemelen daha kolay olacak ve daha geniş çapta kullanılacak.

Computer vision modelleri hakkında daha fazla bilgi edinmek için community ve GitHub repository sayfalarımızı keşfet. AI in agriculture ve computer vision in logistics gibi uygulamalar hakkında okumak için çözümler sayfalarımızı incele. licensing options seçeneklerimize göz at ve kendi vision AI modelini oluşturmaya başla.