Keypoints

Anahtar noktalar, bir kişinin sol bileği, araba tekerleğinin merkezi veya kutunun köşeleri gibi, görüntü koordinatları olarak depolanan, nesne üzerindeki belirli ve adlandırılmış noktalardır. Bir poz kestirimi modeli, bulduğu her nesne için bunlardan sabit bir küme tahmin eder; her birine bir güven puanı eşlik eder ve aralarındaki kenarlar, duruşu ve şekli yansıtan bir iskelet oluşturur. Anahtar noktalar, nesnenin parçalarını işaretleyerek tüm nesnenin çevresindeki bir sınırlayıcı kutudan veya dış hatlarını gösteren bir bölütleme maskesinden daha ayrıntılı bir tanım sunar. Eş anlamlısı olan yer işaretleri terimi çoğunlukla yüzler için kullanılır.

Anahtar Noktaları Tanımlama ve Etiketleme#

Her veri kümesi, anahtar nokta kümesini ve sırasını sabitler. COCO, insan vücudu için burun, gözler, kulaklar, omuzlar, dirsekler, bilekler, kalçalar, dizler ve ayak bileklerinden oluşan 17 anahtar nokta tanımlar. Her etiket bir x ve y koordinatı ile görünürlük işareti içerir: etiketlenmemiş için 0, etiketlenmiş ancak gizli için 1 ve etiketlenmiş ve görünür için 2. Diğer kümeler, el anahtar noktaları veri kümesindeki 21 nokta, 300-W yüz şemasındaki 68 nokta, Dog-Pose içindeki köpek başına 24 nokta veya üretilmiş bir parçanın köşeleri gibi farklı özneleri kapsar. Sıra anlam taşıdığından, bir görüntüyü yatay çeviren veri artırma işlemi her sol anahtar noktayı sağdaki karşılığıyla da değiştirmelidir; aksi hâlde çevrilmiş sol bilek, diğer kolun etiketini taşımaya devam eder.

Modeller Anahtar Noktaları Nasıl Tahmin Eder#

Derin öğrenme modelleri anahtar noktaları, tepe noktası konumlarını belirten anahtar nokta başına birer ısı haritası olarak ya da koordinatları doğrudan görüntü özelliklerinden regresyonla tahmin eder. Her tahmin, başka bir kişinin arkasında kalan, görüntü kenarında kesilen veya hareketle bulanıklaşan anahtar noktalar için düşen bir güven değeri taşır; böylece uygulamalar tahmine güvenmek yerine güveni düşük noktaları yok sayabilir. Tahminler, kişilerin daha tutarsız etiketlediği kalça gibi noktalardaki daha büyük hataları göz gibi kesin noktalara kıyasla daha fazla tolere eden nesne anahtar noktası benzerliği (OKS) ile puanlanır.

from ultralytics import YOLO

# Load a YOLO26 pose model that predicts the 17 COCO body keypoints per person
model = YOLO("yolo26n-pose.pt")
results = model("https://ultralytics.com/images/bus.jpg")
keypoints = results[0].keypoints

# COCO order: index 0 is the nose, 9 and 10 are the left and right wrists
for index, name in [(0, "nose"), (9, "left wrist"), (10, "right wrist")]:
    x, y = keypoints.xy[0, index].tolist()
    print(f"{name}: ({x:.0f}, {y:.0f}), confidence {keypoints.conf[0, index]:.2f}")

Her satır, ilk algılanan kişinin bir anahtar noktasını piksel konumu ve güven değeriyle verir; keypoints.xyn ise aynı konumları görüntü boyutuna göre normalize edilmiş biçimde tutar.

Anlamsal Anahtar Noktalar ve İlgi Noktaları#

Poz anahtar noktaları anlamsaldır: model sol bileğin neye benzediğini öğrenir. İlgi noktaları ise önceden tanımlanmak yerine bir algılayıcı tarafından bulunur. SIFT (1999), ölçek ve döndürme değişikliklerine karşı kararlı kalan lekeleri bulur; ORB (2011), gerçek zamanlı haritalama için yeterince hızlı köşeler bulur; SuperPoint (2018) ise tekrarlanabilir noktaları bulmayı öğrenir. Her noktanın çevresinde hesaplanan bir tanımlayıcı, LightGlue gibi eşleştiricilerin görüntü kaydı, 3B yeniden oluşturma ve görsel SLAM için aynı noktayı görüntüler arasında eşleştirmesini sağlar; nokta izleme ise bu noktaları video boyunca takip eder.

Anahtar Noktalarla Ölçüm#

Anahtar noktalar bir görüntüyü geometriye dönüştürür: iki anahtar nokta mesafe, üçü eklem açısı, kareler boyunca bir dizi ise hız verir. Ultralytics antrenman izleme çözümü, egzersiz tekrarlarını bu şekilde sayar; varsayılan olarak her takip edilen kişi için bir YOLO26 poz modelinin 6, 8 ve 10 numaralı anahtar noktalarından (sağ omuz, dirsek ve bilek) sağ dirsek açısını ölçer:

• Spor analizi: Anahtar noktalardan elde edilen eklem açıları ve uzuv hızları, golf vuruşunu, sprinterin adımlarını veya atıcının fırlatma hareketini kare kare tanımlar.
• Sürücü izleme: Göz ve ağız yer işaretleri, gözlerin ne kadar süre kapalı kaldığını ve sürücünün ne sıklıkta esnediğini ölçer; bunlar uyuşukluğun iki göstergesidir.
• Hayvan davranışı: DeepLabCut, laboratuvar hayvanlarında pati ve burun konumları gibi kullanıcı tarafından tanımlanan noktaları izler ve yaklaşık 200 etiketli kareyle insan düzeyinde doğruluğa ulaşmıştır.