Keypoints

Os pontos-chave são pontos específicos e identificados num objeto, como o pulso esquerdo de uma pessoa, o centro de uma roda de carro ou os cantos de uma caixa, armazenados como coordenadas da imagem. Um modelo de estimativa de pose prevê um conjunto fixo desses pontos para cada objeto encontrado, cada um com uma pontuação de confiança; as arestas entre eles formam um esqueleto que representa a postura e a forma. Os pontos-chave assinalam as partes de um objeto, oferecendo uma descrição mais detalhada do que uma caixa delimitadora à volta do objeto inteiro ou uma máscara de segmentação do seu contorno. «Marcos» é um sinónimo usado sobretudo para rostos.

Definir e anotar pontos-chave#

Cada conjunto de dados define o seu conjunto e a sua ordem de pontos-chave. O COCO define 17 pontos-chave para o corpo humano: nariz, olhos, orelhas, ombros, cotovelos, pulsos, ancas, joelhos e tornozelos. Cada etiqueta armazena uma coordenada x e y, além de um indicador de visibilidade: 0 para não anotado, 1 para anotado mas oculto e 2 para anotado e visível. Outros conjuntos abrangem outros sujeitos, como os 21 pontos do conjunto de dados de pontos-chave da mão, o esquema facial de 68 pontos do 300-W, 24 pontos por cão no Dog-Pose ou os cantos de uma peça fabricada. Como a ordem tem significado, a ampliação de dados que inverte uma imagem na horizontal também tem de trocar cada ponto-chave esquerdo pelo correspondente direito; caso contrário, o pulso esquerdo invertido manteria a etiqueta do outro braço.

Como os modelos preveem pontos-chave#

Os modelos de aprendizado profundo preveem pontos-chave como mapas de calor, um mapa por ponto-chave, cujo pico indica sua localização, ou estimando diretamente as coordenadas a partir das características da imagem. Cada previsão inclui uma confiança que diminui para pontos-chave ocultos atrás de outra pessoa, cortados pela borda do quadro ou borrados pelo movimento, permitindo que as aplicações ignorem pontos com baixa confiança em vez de confiar em uma suposição. As previsões são avaliadas com a similaridade de pontos-chave de objetos (OKS), que tolera erros maiores em pontos-chave que as pessoas anotam com menos consistência, como os quadris, do que em pontos precisos, como os olhos.

from ultralytics import YOLO

# Load a YOLO26 pose model that predicts the 17 COCO body keypoints per person
model = YOLO("yolo26n-pose.pt")
results = model("https://ultralytics.com/images/bus.jpg")
keypoints = results[0].keypoints

# COCO order: index 0 is the nose, 9 and 10 are the left and right wrists
for index, name in [(0, "nose"), (9, "left wrist"), (10, "right wrist")]:
    x, y = keypoints.xy[0, index].tolist()
    print(f"{name}: ({x:.0f}, {y:.0f}), confidence {keypoints.conf[0, index]:.2f}")

Cada linha indica um ponto-chave da primeira pessoa detetada como posição em píxeis e uma confiança; keypoints.xyn contém as mesmas posições normalizadas para as dimensões da imagem.

Pontos-chave semânticos vs. pontos de interesse#

Os pontos-chave de pose são semânticos: um modelo aprende o aspeto de um pulso esquerdo. Os pontos de interesse são encontrados por um detetor, em vez de serem definidos antecipadamente. O SIFT (1999) encontra regiões que se mantêm estáveis com alterações de escala e rotação, o ORB (2011) encontra cantos suficientemente depressa para mapeamento em tempo real e o SuperPoint (2018) aprende a encontrar pontos repetíveis. Um descritor calculado à volta de cada ponto permite que correspondedores como o LightGlue liguem o mesmo ponto entre imagens para registo de imagens, reconstrução 3D e SLAM visual; o rastreamento de pontos acompanha esses pontos ao longo do vídeo.

Medição com pontos-chave#

Os pontos-chave transformam uma imagem em geometria: dois pontos-chave dão uma distância, três dão um ângulo articular e uma sequência de fotogramas dá uma velocidade. A solução Ultralytics de monitorização de treinos conta repetições de exercícios desta forma, medindo por predefinição o ângulo do cotovelo direito a partir dos pontos-chave 6, 8 e 10 (ombro, cotovelo e pulso direitos) de um modelo de pose YOLO26 para cada pessoa rastreada:

• Análise desportiva: Os ângulos articulares e as velocidades dos membros obtidos a partir de pontos-chave descrevem, fotograma a fotograma, um swing de golfe, a passada de um velocista ou o movimento de lançamento de um lançador.
• Monitorização do condutor: Os marcos dos olhos e da boca medem durante quanto tempo os olhos permanecem fechados e com que frequência o condutor boceja, dois sinais de sonolência.
• Comportamento animal: O DeepLabCut rastreia pontos definidos pelo utilizador em animais de laboratório, como as posições das patas e do focinho, e atingiu uma precisão ao nível humano com cerca de 200 fotogramas anotados.