OpenPose nedir? Duruş tahmininde bir kilometre taşını keşfetmek

Günümüzde görüntüler ve kameralar her yerde; telefonlarımıza, evlerimize ve hatta kamusal alanlara yerleştirilmiş durumda. Onlara sadece anları yakalamak için değil, aynı zamanda çevremizdeki dünyayı anlamamıza ve onunla etkileşime girmemize yardımcı olmaları için güveniyoruz.

Perde arkasında, yapay zekanın (AI) bir alt alanı olan computer vision, makinelerin görsel verileri yorumlamasını sağlayarak bunu mümkün kılar. Sistemlerin nesneleri tespit etmesine, yüzleri tanımasına ve hareketi izlemesine olanak tanıyarak her gün kullandığımız birçok teknolojide kilit bir rol oynar.

Yapay zekadaki son gelişmeler sayesinde, computer vision modelleri artık daha karmaşık verileri ve içgörüleri analiz edebilir ve çıkarabilir. Bunun bir örneği, insan hareketini anlamaya odaklanan bir computer vision görevi olan pose estimation özelliğidir.

Bu teknoloji, görüntülerdeki veya videolardaki omuzlar, dirsekler ve dizler gibi vücut üzerindeki anahtar noktaları tanımlayarak çalışır. Bu, insanların nasıl hareket ettiğini analiz etmeyi mümkün kılar ve fitness takibi, animasyon, sağlık hizmetleri ve daha pek çok alanda uygulamalara olanak tanır.

Poz tahmini için geliştirilen birçok araç arasında OpenPose, büyük bir buluş olarak öne çıkıyor. Carnegie Mellon Üniversitesi Perceptual Computing Lab'deki araştırmacılar tarafından oluşturulan bu sistem, sadece bir kamera kullanarak (kişi başına 135 anahtar noktaya kadar) eller, ayaklar ve yüz anahtar noktaları dahil olmak üzere birden fazla kişi için tam vücut pozlarını gerçek zamanlı olarak algılayabilen ilk açık kaynaklı sistemlerden biriydi.

Bu makalede OpenPose'u, nasıl çalıştığını ve bilgisayarlı görüdeki bir kilometre taşı olarak önemini inceleyeceğiz.

Fig 1. OpenPose kullanan çok kişili pose estimation.

Poz tahmininin tarihine bir bakış#

Yapay zeka yaygın olarak benimsenmeden önce, videolardaki insan hareketlerini izlemek özel ekipman kullanımını gerektiriyordu. film and animation gibi sektörlerde, kameraların kontrollü bir stüdyo ortamında hareketlerini yakalayabilmesi için oyuncular genellikle yansıtıcı işaretçilere sahip kıyafetler giyerdi.

Bu işaret tabanlı hareket yakalama teknikleri doğru olsa da, aynı zamanda pahalıydı ve belirli kurulumlarla sınırlıydı. Bilgisayarlı görü ilerledikçe araştırmacılar, işaret kullanmadan vücut hareketini izlemenin yollarını aradılar. Görüntülerdeki insan şekillerini bulmak için kenarları, konturları ve şablonları kullandılar.

Bu erken dönem sistemler basit ve net durumlarda çalışıyordu ancak gerçek dünya senaryolarında zorlanıyorlardı. İnsanlar beklenmedik şekillerde hareket ettiğinde veya bir karede birden fazla kişi göründüğünde genellikle zayıf sonuçlar veriyorlardı.

2010'ların sonlarında deep learning, pose estimation alanında büyük bir dönüşüm başlattı. Vision AI modelleri, insan pozlarından oluşan büyük veri kümeleri üzerinde eğitilebilirdi. Kenarlara ve şablonlara güvenmek yerine modeller, binlerce etiketli görseli inceleyerek vücut eklemlerini ve yapısını tanımayı öğrendi. Bu durum pose estimation'ı daha doğru, esnek ve çok çeşitli ortamlarda etkili hale getirdi.

Fig 2. 2017'den 2023'e insan pose estimation modellerinin evrimi.

OpenPose: Modern poz tahmininin yükselişe geçtiği yer#

OpenPose ilk kez 2017'de piyasaya sürüldü ve tek bir görüntüdeki birden fazla kişinin pozlarını aynı anda tahmin edebiliyor. Eski sistemlerin aksine, OpenPose özel kıyafetler veya işaretler gerektirmez. Standart kameralarla çalışır ve görüntüleri ve videoları gerçek zamanlı olarak işleyebilir. Bu özellikler, poz tahminini geliştiriciler ve araştırmacılar için daha erişilebilir hale getirdi.

OpenPose'un computer vision için oluşturduğu temel, başkalarının çeşitli diğer uygulamalar için daha yeni mimariler inşa etmesine yardımcı oldu. Günümüzde pose estimation görevlerini destekleyen Ultralytics YOLOv8 ve Ultralytics YOLO11 gibi vision AI modelleri daha hızlı sonuçlar ve daha düşük gecikme sunar.

Fig 3. Pose estimation için YOLO11 kullanımı.

Yine de, poz tahmininin nasıl geliştiğini merak ediyorsan OpenPose başlamak için harika bir yerdir. Bugün birçok yeni sistemin hala dayandığı temel fikirleri ortaya koydu.

OpenPose'un temel yetenekleri#

Artık OpenPose'un neden önemli olduğunu daha iyi anladığımıza göre, gerçekte neler yapabileceğine daha yakından bakalım.

OpenPose'un yeteneklerinin merkezinde keypoint detection adı verilen bir kavram yer alır. Keypoint'ler, burun ucunun, omuzların merkezinin, dirseklerin, bileklerin, kalçaların, dizlerin ve ayak bileklerinin insan vücuttaki belirli noktalarıdır. OpenPose, parmaklar ve yüz özellikleri gibi ayrıntılı alanlar dahil olmak üzere kişi başına bu noktalardan 135 tanesini tespit edebilir.

Bu noktalar birleştirildiğinde, insan vücudunun basitleştirilmiş bir temsilini oluştururlar; bunu dijital bir iskelet olarak düşünebilirsin. Bu iskelet taslağı, sadece bir kişinin nerede olduğunu değil, aynı zamanda nasıl poz verdiğini de gösterir: oturuyor mu, ayakta mı, el mi sallıyor, gülümsüyor mu yoksa yürüyor mu. Bilgisayarlar, tıpkı bizim birinin vücut dilini içgüdüsel olarak anladığımız gibi, bu iskeletleri kullanarak insan hareketini görsel olarak yorumlayabilir.

İskelet takibi, arka plan gürültüsünü ve dikkat dağıtıcı unsurları ortadan kaldırdığı ve sistemin tamamen insan duruşuna ve hareketine odaklanmasını sağladığı için özellikle yararlıdır. OpenPose, her pikseli analiz etmek yerine, bir kişinin nasıl hareket ettiğinin veya etkileşime girdiğinin hikayesini anlatan anlamlı noktalara odaklanır.

Bu yapılandırılmış bilgiyi günlük görüntülerden veya videolardan çıkararak OpenPose, jestlere yanıt veren, fiziksel aktiviteyi izleyen, duygusal ipuçlarını değerlendiren ve hatta dijital karakterleri canlandıran uygulamalar oluşturmayı mümkün kılar.

OpenPose nasıl çalışır?#

İşte OpenPose'un görsel girdilerden insan vücudundaki anahtar noktaları nasıl algıladığına ve bağladığına dair bir genel bakış:

• Bir görselle başlar: OpenPose, bir fotoğraftan, videodan veya canlı camera akışından tek bir görsel alır.
• Önemli vücut parçalarını tespit eder: Sistem, burun, dirsekler, bilekler, dizler ve ayak bilekleri gibi vücuttaki anahtar noktaları arar. Sistem, bir vücut parçasının nerede olduğundan emin olduğu her yerde bunlar işaretlenir.
• Hangi parçaların birbiriyle eşleştiğini bulur: Ardından, OpenPose anahtar noktaların nasıl bağlandığını kontrol eder. Hangi eklemlerin aynı kişiye ait olduğuna karar vermek için matematiksel hesaplamalar kullanır; örneğin, bir bileği doğru dirsek ve omuzla eşleştirmek gibi.
• Her kişi için bir iskelet çizer: Anahtar noktaları gruplandırdıktan sonra OpenPose, bunları her kişinin pozunu gösteren bir "çöp adam" şeklinde birleştirir. Bu, aynı karede birden fazla kişi olduğunda bile çalışır.
• Poz verisini döndürür: Son olarak, algılanan tüm anahtar noktaların tam konumlarını sağlar. Bunlar hareket takibi, jest tanıma veya etkileşimli araçlar oluşturmak için kullanılabilir; üstelik hepsi gerçek zamanlı olarak.

Fig 4. OpenPose kullanarak insan keypoint detection ve takibi.

OpenPose kullanan endüstrilerde poz tahmini uygulamaları#

OpenPose, pose estimation'ı çeşitli gerçek dünya kullanım senaryoları için pratik hale getiren ilk gelişmiş araçlardan biriydi. Bugün gerçek zamanlı computer vision solutions içinde yaygın olarak kullanılmasa da spor, eğlence, eğitim ve güvenlik gibi alanlardaki erken çalışmaları şekillendirmede önemli bir rol oynadı.

Bu alanlarda ön açmaya nasıl yardımcı olduğuna daha yakından bakalım.

Fitness ve spor için OpenPose ile poz tahmini#

Beyzbol izlerken neler olduğunu anlamak kolaydır; bir atışı, bir vuruşu veya çalınan bir kaleyi anında tanıyabilirsin. İnsanlar olarak, vücut hareketlerini sezgisel olarak okur ve çok fazla çaba harcamadan anlamlandırırız. Ancak makineler için bu eylemleri tanımak çok daha karmaşıktır. Vücudun her bir parçasının uzayda nasıl hareket ettiğine dair kesin bilgilere ihtiyaç duyarlar.

OpenPose, bilgisayarlı görünün bu alanında önemli bir adımdı. Çeşitli ortamlarda atletik formu analiz etmek için pratik bir araçtı.

Birçok araştırma projesi, sporcuların hareket biçimlerine göre belirli baseball actions bile sınıflandırarak salıncaklar ve sıçramalar gibi hareketleri incelemek için OpenPose'u kullandı. Standart videolarla açık ortamlarda çalıştığı için araştırmacıların bu tür sistemlerin gerçek dünyadaki antrenman veya koçluk senaryolarında nasıl işlev görebileceğini test etmesine olanak tanıdı.

Bu erken dönem çalışmaları, gelişmiş sports technology alanında artık kullanılan performans takip araçlarının temelini atmaya yardımcı oldu.

Fig 5. OpenPose kullanan bir beysbol aksiyon sınıflandırma işlem hattına bir bakış.

Güvenlik ve emniyet sistemlerinde OpenPose kullanımı#

Benzer şekilde araştırmacılar, videoya dayalı poz takibinin güvenlik izlemeyi nasıl destekleyebileceğini araştırmak için de OpenPose'u kullandılar. Halka açık alanlardaki düşmeler, beklenmeyen jestler veya hareket düzenleri gibi detecting behaviors konusunda test edildi.

Standart kameralarla çalıştığı için OpenPose, hastaneler ve ulaşım merkezleri gibi ortamlarda erken deneyleri daha erişilebilir hale getirdi. Bu çalışmalar, gözetim, düşme tespiti ve acil durum müdahale sistemlerinde artık kullanılan newer models geliştirilmesini hızlandırmaya yardımcı oldu.

Fig 6. OpenPose tarafından sağlanan düşme tespiti.

OpenPose'un avantajları ve dezavantajları#

İşte OpenPose'un sunduğu bazı avantajlara kısa bir bakış:

• Araştırma ve prototipleme için kullanışlı: Özellikle insan-bilgisayar etkileşimi, biyomekanik ve davranış analizi gibi alanlarda akademik araştırmalarda yaygın olarak kullanılmıştır.
• Çapraz platform desteği: Merkezi işlem birimleri (CPU) ve graphics processing units (GPUs) desteğiyle Windows, Linux ve macOS üzerinde çalışabilir.
• Çevrimdışı işleme yeteneği: İnternet erişimi olmayan ortamlarda çalışabilir, bu da onu sağlık veya eğitim gibi gizliliğe duyarlı ayarlar için ideal hale getirir.

OpenPose önemli bir ileri adım olsa da, aklında tutman gereken teknik sınırlamaları da vardır. İşte OpenPose ile ilişkili temel zorluklardan bazıları:

• Yüksek işlem gereksinimleri: OpenPose'u gerçek zamanlı olarak çalıştırmak güçlü bir GPU ve önemli miktarda bilgi işlem kaynağı gerektirir.
• Ortama karşı hassas: Düşük ışıkta, kalabalık alanlarda veya kamera açıları ideal olmadığında performans düşebilir.
• Daha yeni modellere göre ağır: Daha yeni poz tahmini modelleriyle karşılaştırıldığında, OpenPose nispeten büyük ve daha yavaştır. Akıllı telefonlar, tabletler veya gömülü sistemler gibi kaynak kısıtlı cihazlarda dağıtım için uygun değildir.

Öne çıkanlar#

OpenPose, poz tahminini daha erişilebilir hale getirmede önemli bir rol oynadı. Vücut hareketlerini takip etmenin, kıyafetlere veya özel ekipmanlara güvenmeden basit bir kamerayla yapılabileceğini gösterdi.

Sağlık hizmetleri, eğitim, eğlence ve araştırma genelinde birçok pratik uygulama için temel oluşturdu. Daha yeni modeller artık daha hızlı hızlar ve daha hafif performans sunsa da OpenPose, poz tahmininin nasıl geliştiğini anlamak için önemli bir referans noktası olmaya devam ediyor.

Yapay zeka hakkında daha fazla bilgi edinmek için community aramıza katıl ve GitHub repository adresimizi ziyaret et. Kendi computer vision solutions çözümlerini oluşturmak istiyorsan licensing options seçeneklerimizi incele. Ayrıca, computer vision in healthcare ve AI in logistics alanlarındaki gelişmelerin nasıl bir etki yarattığına göz at!