O que é OpenPose? Explorando um marco na estimativa de pose

Hoje em dia, imagens e câmeras estão em toda parte - integradas em nossos telefones, casas e até em espaços públicos. Nós contamos com elas não apenas para capturar momentos, mas para nos ajudar a entender e interagir com o mundo ao nosso redor.

Por trás das cenas, a computer vision, uma subárea da inteligência artificial (IA), torna isso possível ao permitir que as máquinas interpretem dados visuais. Ela permite que os sistemas detectem objetos, reconheçam rostos e rastreiem movimentos, desempenhando um papel fundamental em muitas das tecnologias que usamos todos os dias.

Graças aos avanços recentes na IA, os modelos de computer vision agora podem analisar e extrair dados e insights mais complexos. Um exemplo disso é a pose estimation, uma tarefa de computer vision focada em compreender o movimento humano.

Ela funciona identificando pontos-chave no corpo, como ombros, cotovelos e joelhos, em imagens ou vídeos. Isso torna possível analisar como as pessoas se movem, permitindo aplicações em rastreamento de condicionamento físico, animação, saúde e muito mais.

Entre as muitas ferramentas desenvolvidas para estimativa de pose, o OpenPose se destaca como um grande avanço. Criado por pesquisadores do Perceptual Computing Lab na Carnegie Mellon University, foi um dos primeiros sistemas de código aberto capaz de detectar poses de corpo inteiro, incluindo mãos, pés e pontos-chave faciais, para várias pessoas em tempo real usando apenas uma câmera (com até 135 pontos-chave por pessoa).

Neste artigo, vamos explorar o OpenPose, como ele funciona e sua importância como um marco na visão computacional.

Fig 1. Estimativa de pose multirpessoal usando OpenPose.

Um olhar sobre a história da estimativa de pose#

Antes de a IA ser amplamente adotada, o rastreamento do movimento humano em vídeos envolvia o uso de equipamentos especializados. Em setores como film and animation, os atores frequentemente usavam roupas com marcadores refletores para que as câmeras pudessem capturar seus movimentos em um ambiente de estúdio controlado.

Embora essas técnicas de captura de movimento baseadas em marcadores fossem precisas, elas também eram caras e limitadas a configurações específicas. À medida que a visão computacional avançava, os pesquisadores buscaram maneiras de rastrear o movimento corporal sem usar marcadores. Eles usavam bordas, contornos e modelos para encontrar formas humanas em imagens.

Esses primeiros sistemas funcionavam em casos simples e diretos, mas tinham dificuldades com cenários do mundo real. Eles frequentemente forneciam resultados ruins quando as pessoas se moviam de maneiras inesperadas ou quando mais de uma pessoa aparecia em um quadro.

No final da década de 2010, o deep learning trouxe uma mudança importante para a pose estimation. Os modelos de visão por IA podiam ser treinados com grandes conjuntos de dados de poses humanas. Em vez de depender de bordas e modelos pré-definidos, os modelos aprenderam a reconhecer articulações e estruturas corporais estudando milhares de imagens rotuladas. Isso tornou a pose estimation mais precisa, flexível e impactante em uma gama mais ampla de cenários.

Fig 2. A evolução dos modelos de estimativa de pose humana de 2017 a 2023.

OpenPose: Onde a estimativa de pose moderna decolou#

O OpenPose foi lançado pela primeira vez em 2017 e é capaz de estimar as poses de várias pessoas simultaneamente em uma única imagem. Ao contrário de sistemas mais antigos, o OpenPose não requer trajes ou marcadores especiais. Ele funciona com câmeras padrão e pode processar imagens e vídeos em tempo real. Esses recursos tornaram a estimativa de pose mais acessível para desenvolvedores e pesquisadores.

A base que o OpenPose estabeleceu para a computer vision ajudou outros a construírem arquiteturas mais novas para uma variedade de outras aplicações. Hoje, modelos de visão por IA como Ultralytics YOLOv8 e Ultralytics YOLO11 que oferecem suporte a tarefas de pose estimation proporcionam resultados mais rápidos e menor latência.

Fig 3. Usando o YOLO11 para estimativa de pose.

No entanto, o OpenPose é um ótimo ponto de partida se você estiver curioso sobre como a estimativa de pose evoluiu. Ele introduziu conceitos-chave nos quais muitos sistemas mais novos ainda confiam hoje.

Principais recursos do OpenPose#

Agora que temos uma compreensão melhor de por que o OpenPose é importante, vamos dar uma olhada mais de perto no que ele realmente pode fazer.

No centro das capacidades do OpenPose está algo chamado keypoint detection. Os keypoints são pontos de referência específicos no corpo humano, como a ponta do nariz, o centro dos ombros, cotovelos, pulsos, quadris, joelhos e tornozelos. O OpenPose consegue detectar até 135 desses pontos por pessoa, incluindo áreas detalhadas como dedos e traços faciais.

Quando esses pontos são conectados, eles formam uma representação simplificada do corpo humano - você pode pensar nela como um esqueleto digital. Esse contorno esquelético mostra não apenas onde uma pessoa está, mas como ela está posicionada: se está sentada, em pé, acenando, sorrindo ou andando. Computadores podem interpretar o movimento humano visualmente usando esses esqueletos, assim como instintivamente entendemos a linguagem corporal de alguém.

O rastreamento esquelético é especialmente útil porque elimina o ruído e as distrações de fundo, permitindo que o sistema foque puramente na postura e no movimento humano. Em vez de analisar cada pixel, o OpenPose concentra-se em pontos significativos que contam a história de como uma pessoa está se movendo ou interagindo.

Ao extrair essas informações estruturadas de imagens ou vídeos do cotidiano, o OpenPose torna possível criar aplicações que respondem a gestos, monitoram a atividade física, avaliam pistas emocionais ou até mesmo animam personagens digitais.

Como funciona o OpenPose?#

Aqui está uma visão geral de como o OpenPose detecta e conecta pontos-chave no corpo humano a partir de entrada visual:

• Começa com uma imagem: O OpenPose pega uma única imagem de uma foto, vídeo ou transmissão ao vivo de camera.
• Identifica partes importantes do corpo: O sistema procura pontos-chave no corpo, como nariz, cotovelos, pulsos, joelhos e tornozelos. Eles são marcados onde quer que o sistema esteja confiante de que uma parte do corpo está localizada.
• Descobre quais partes pertencem juntas: Em seguida, o OpenPose verifica como os pontos-chave estão conectados. Ele usa cálculos matemáticos para decidir quais articulações pertencem à mesma pessoa - por exemplo, combinando um pulso com o cotovelo e ombro direitos.
• Desenha um esqueleto para cada pessoa: Após agrupar os pontos-chave, o OpenPose os conecta em um "boneco de palito" que mostra a pose de cada pessoa. Isso funciona mesmo quando várias pessoas aparecem no mesmo quadro.
• Retorna os dados da pose: Finalmente, ele fornece as posições exatas de todos os pontos-chave detectados. Eles podem ser usados para rastrear movimentos, reconhecer gestos ou criar ferramentas interativas - tudo em tempo real.

Fig 4. Detecção e rastreamento de pontos-chave humanos usando OpenPose.

Aplicações de estimativa de pose em vários setores usando o OpenPose#

O OpenPose foi uma das primeiras ferramentas avançadas que tornou a pose estimation prática para uma variedade de casos de uso no mundo real. Embora não seja comumente usado em computer vision solutions em tempo real hoje em dia, ele desempenhou um papel importante na modelagem do trabalho inicial em áreas como esportes, entretenimento, educação e segurança.

Vamos analisar mais de perto como ele ajudou a abrir caminho nessas áreas.

Estimativa de pose com OpenPose para fitness e esportes#

Quando você assiste a um jogo de beisebol, é fácil entender o que está acontecendo - você pode reconhecer instantaneamente um arremesso, uma rebatida ou um roubo de base. Como seres humanos, lemos intuitivamente os movimentos corporais e damos sentido a eles sem muito esforço. Mas, para as máquinas, reconhecer essas ações é muito mais complexo. Elas precisam de informações precisas sobre como cada parte do corpo se move no espaço.

O OpenPose foi um passo substancial à frente nessa área da visão computacional. Foi uma ferramenta prática para analisar a forma atlética em diversos ambientes.

Muitos projetos de pesquisa usaram o OpenPose para detalhar movimentos como balanços e saltos, classificando até mesmo baseball actions específicas com base em como os jogadores se moviam. Como funcionava em ambientes abertos com vídeos padrão, permitia que os pesquisadores testassem como tais sistemas poderiam funcionar em cenários reais de treinamento ou orientação.

Esses primeiros estudos ajudaram a estabelecer as bases para as ferramentas de rastreamento de desempenho usadas atualmente em sports technology avançada.

Fig 5. Uma olhada em um pipeline de classificação de ações de beisebol usando OpenPose.

Usando OpenPose em sistemas de segurança e proteção#

Da mesma forma, os pesquisadores também usaram o OpenPose para explorar como o rastreamento de pose baseado em vídeo poderia apoiar o monitoramento de segurança. Ele foi testado na detecting behaviors como quedas, gestos inesperados ou padrões de movimento em áreas públicas.

Como funcionava com câmeras padrão, o OpenPose tornou a experimentação inicial mais acessível em ambientes como hospitais e centros de transporte. Esses estudos ajudaram a impulsionar o desenvolvimento de newer models usados agora em vigilância, detecção de quedas e sistemas de resposta a emergências.

Fig 6. Detecção de quedas habilitada por OpenPose.

Prós e contras do OpenPose#

Aqui está um vislumbre de algumas das vantagens que o OpenPose oferece:

• Útil para pesquisa e prototipagem: Tem sido amplamente utilizado em pesquisas acadêmicas, especialmente em campos como interação humano-computador, biomecânica e análise comportamental.
• Suporte multiplataforma: Ele pode ser executado em Windows, Linux e macOS, com suporte para unidades centrais de processamento (CPUs) e graphics processing units (GPUs).
• Capacidade de processamento offline: Pode rodar em ambientes sem acesso à internet, tornando-o ideal para configurações sensíveis à privacidade, como saúde ou educação.

Embora o OpenPose tenha sido um grande passo à frente, ele também tem limitações técnicas que é importante manter em mente. Aqui estão alguns dos principais desafios associados ao OpenPose:

• Altas demandas de processamento: Rodar o OpenPose em tempo real requer uma GPU potente e recursos computacionais significativos.
• Sensível ao ambiente: O desempenho pode diminuir em condições de pouca luz, espaços lotados ou quando os ângulos da câmera não são ideais.
• Pesado em comparação com modelos mais novos: Comparado a modelos de estimativa de pose mais novos, o OpenPose é relativamente grande e mais lento. Não é adequado para implementação em dispositivos com recursos limitados, como smartphones, tablets ou sistemas embarcados.

Principais pontos#

O OpenPose desempenhou um papel importante em tornar a estimativa de pose mais acessível. Ele mostrou que o rastreamento de movimentos corporais poderia ser feito com uma câmera simples, sem depender de trajes ou equipamentos especializados.

Ele estabeleceu a base para muitas aplicações práticas em saúde, educação, entretenimento e pesquisa. Embora modelos mais novos ofereçam hoje velocidades mais rápidas e desempenho mais leve, o OpenPose permanece um ponto de referência fundamental para entender como a estimativa de pose evoluiu.

Junte-se à nossa community e visite nosso GitHub repository para saber mais sobre IA. Se você deseja criar suas próprias soluções de computer vision, explore nossas licensing options. Além disso, confira como computer vision in healthcare e AI in logistics estão causando impacto!