O que é OpenPose? Explorando um marco na estimativa de pose

Hoje em dia, imagens e câmeras estão em toda parte - integradas em nossos telefones, casas e até em espaços públicos. Nós contamos com elas não apenas para capturar momentos, mas para nos ajudar a entender e interagir com o mundo ao nosso redor.

Nos bastidores, a visão computacional, um subcampo da inteligência artificial (IA), torna isso possível ao permitir que máquinas interpretem dados visuais. Ela permite que sistemas detectem objetos, reconheçam rostos e rastreiem movimentos, desempenhando um papel fundamental em muitas das tecnologias que usamos diariamente.

Graças aos avanços recentes em IA, modelos de visão computacional agora podem analisar e extrair dados e insights mais complexos. Um exemplo disso é a estimativa de pose, uma tarefa de visão computacional focada em entender o movimento humano.

Ela funciona identificando pontos-chave no corpo, como ombros, cotovelos e joelhos, em imagens ou vídeos. Isso torna possível analisar como as pessoas se movem, permitindo aplicações em rastreamento de condicionamento físico, animação, saúde e muito mais.

Entre as muitas ferramentas desenvolvidas para estimativa de pose, o OpenPose se destaca como um grande avanço. Criado por pesquisadores do Perceptual Computing Lab na Carnegie Mellon University, foi um dos primeiros sistemas de código aberto capaz de detectar poses de corpo inteiro, incluindo mãos, pés e pontos-chave faciais, para várias pessoas em tempo real usando apenas uma câmera (com até 135 pontos-chave por pessoa).

Neste artigo, vamos explorar o OpenPose, como ele funciona e sua importância como um marco na visão computacional.

Fig 1. Estimativa de pose de várias pessoas usando OpenPose.

Link to this sectionUm olhar sobre a história da estimativa de pose#

Antes da IA ser amplamente adotada, rastrear o movimento humano em vídeos envolvia o uso de equipamentos especializados. Em indústrias como filme e animação, os atores frequentemente usavam trajes com marcadores reflexivos para que as câmeras pudessem capturar seus movimentos em um ambiente de estúdio controlado.

Embora essas técnicas de captura de movimento baseadas em marcadores fossem precisas, elas também eram caras e limitadas a configurações específicas. À medida que a visão computacional avançava, os pesquisadores buscaram maneiras de rastrear o movimento corporal sem usar marcadores. Eles usavam bordas, contornos e modelos para encontrar formas humanas em imagens.

Esses primeiros sistemas funcionavam em casos simples e diretos, mas tinham dificuldades com cenários do mundo real. Eles frequentemente forneciam resultados ruins quando as pessoas se moviam de maneiras inesperadas ou quando mais de uma pessoa aparecia em um quadro.

No final da década de 2010, o deep learning trouxe uma grande mudança para a estimativa de pose. Modelos de IA de visão podiam ser treinados em grandes conjuntos de dados de poses humanas. Em vez de depender de bordas e modelos, os sistemas aprenderam a reconhecer articulações e estruturas corporais estudando milhares de imagens rotuladas. Isso tornou a estimativa de pose mais precisa, flexível e impactante em uma gama maior de cenários.

Fig 2. A evolução dos modelos de estimativa de pose humana de 2017 a 2023.

Link to this sectionOpenPose: Onde a estimativa de pose moderna decolou#

O OpenPose foi lançado pela primeira vez em 2017 e é capaz de estimar as poses de várias pessoas simultaneamente em uma única imagem. Ao contrário de sistemas mais antigos, o OpenPose não requer trajes ou marcadores especiais. Ele funciona com câmeras padrão e pode processar imagens e vídeos em tempo real. Esses recursos tornaram a estimativa de pose mais acessível para desenvolvedores e pesquisadores.

A base que o OpenPose estabeleceu para a visão computacional ajudou outros a construir arquiteturas mais novas para uma variedade de outras aplicações. Hoje, modelos de visão por IA como Ultralytics YOLOv8 e Ultralytics YOLO11, que suportam tarefas de estimativa de pose, oferecem resultados mais rápidos e menor latência.

Fig 3. Usando YOLO11 para estimativa de pose.

No entanto, o OpenPose é um ótimo ponto de partida se você estiver curioso sobre como a estimativa de pose evoluiu. Ele introduziu conceitos-chave nos quais muitos sistemas mais novos ainda confiam hoje.

Link to this sectionPrincipais recursos do OpenPose#

Agora que temos uma compreensão melhor de por que o OpenPose é importante, vamos dar uma olhada mais de perto no que ele realmente pode fazer.

No centro dos recursos do OpenPose está algo chamado detecção de pontos-chave. Pontos-chave são marcos específicos no corpo humano, como a ponta do nariz, o centro dos ombros, cotovelos, pulsos, quadris, joelhos e tornozelos. O OpenPose pode detectar até 135 desses pontos por pessoa, incluindo áreas detalhadas como dedos e traços faciais.

Quando esses pontos são conectados, eles formam uma representação simplificada do corpo humano - você pode pensar nela como um esqueleto digital. Esse contorno esquelético mostra não apenas onde uma pessoa está, mas como ela está posicionada: se está sentada, em pé, acenando, sorrindo ou andando. Computadores podem interpretar o movimento humano visualmente usando esses esqueletos, assim como instintivamente entendemos a linguagem corporal de alguém.

O rastreamento esquelético é especialmente útil porque elimina o ruído e as distrações de fundo, permitindo que o sistema foque puramente na postura e no movimento humano. Em vez de analisar cada pixel, o OpenPose concentra-se em pontos significativos que contam a história de como uma pessoa está se movendo ou interagindo.

Ao extrair essas informações estruturadas de imagens ou vídeos do cotidiano, o OpenPose torna possível criar aplicações que respondem a gestos, monitoram a atividade física, avaliam pistas emocionais ou até mesmo animam personagens digitais.

Link to this sectionComo funciona o OpenPose?#

Aqui está uma visão geral de como o OpenPose detecta e conecta pontos-chave no corpo humano a partir de entrada visual:

• Começa com uma imagem: O OpenPose utiliza uma única imagem de uma foto, vídeo ou feed de câmera ao vivo.
• Identifica partes importantes do corpo: O sistema procura pontos-chave no corpo, como nariz, cotovelos, pulsos, joelhos e tornozelos. Eles são marcados onde quer que o sistema esteja confiante de que uma parte do corpo está localizada.
• Descobre quais partes pertencem juntas: Em seguida, o OpenPose verifica como os pontos-chave estão conectados. Ele usa cálculos matemáticos para decidir quais articulações pertencem à mesma pessoa - por exemplo, combinando um pulso com o cotovelo e ombro direitos.
• Desenha um esqueleto para cada pessoa: Após agrupar os pontos-chave, o OpenPose os conecta em um "boneco de palito" que mostra a pose de cada pessoa. Isso funciona mesmo quando várias pessoas aparecem no mesmo quadro.
• Retorna os dados da pose: Finalmente, ele fornece as posições exatas de todos os pontos-chave detectados. Eles podem ser usados para rastrear movimentos, reconhecer gestos ou criar ferramentas interativas - tudo em tempo real.

Fig 4. Detecção e rastreamento de pontos-chave humanos usando OpenPose.

Link to this sectionAplicações de estimativa de pose em vários setores usando o OpenPose#

O OpenPose foi uma das primeiras ferramentas avançadas que tornou a estimativa de pose prática para uma variedade de casos de uso no mundo real. Embora não seja comumente usado em soluções de visão computacional em tempo real hoje em dia, ele desempenhou um papel importante na formação dos primeiros trabalhos em áreas como esportes, entretenimento, educação e segurança.

Vamos analisar mais de perto como ele ajudou a abrir caminho nessas áreas.

Link to this sectionEstimativa de pose com OpenPose para fitness e esportes#

Quando você assiste a um jogo de beisebol, é fácil entender o que está acontecendo - você pode reconhecer instantaneamente um arremesso, uma rebatida ou um roubo de base. Como seres humanos, lemos intuitivamente os movimentos corporais e damos sentido a eles sem muito esforço. Mas, para as máquinas, reconhecer essas ações é muito mais complexo. Elas precisam de informações precisas sobre como cada parte do corpo se move no espaço.

O OpenPose foi um passo substancial à frente nessa área da visão computacional. Foi uma ferramenta prática para analisar a forma atlética em diversos ambientes.

Muitos projetos de pesquisa usaram o OpenPose para decompor movimentos como arremessos e saltos, chegando a classificar ações específicas de beisebol com base em como os jogadores se moviam. Como funcionava em ambientes abertos com vídeo padrão, permitiu que pesquisadores testassem como tais sistemas poderiam funcionar em cenários reais de treinamento ou coaching.

Esses primeiros estudos ajudaram a lançar as bases para as ferramentas de rastreamento de desempenho agora usadas em tecnologia esportiva avançada.

Fig 5. Um olhar sobre o pipeline de classificação de ações de beisebol usando OpenPose.

Link to this sectionUsando OpenPose em sistemas de segurança e proteção#

Da mesma forma, pesquisadores também usaram o OpenPose para explorar como o rastreamento de pose baseado em vídeo poderia apoiar o monitoramento de segurança. Foi testado na detecção de comportamentos como quedas, gestos inesperados ou padrões de movimento em áreas públicas.

Como funcionava com câmeras padrão, o OpenPose tornou a experimentação inicial mais acessível em ambientes como hospitais e centros de transporte. Esses estudos ajudaram a impulsionar o desenvolvimento de modelos mais novos agora usados em vigilância, detecção de quedas e sistemas de resposta a emergências.

Fig 6. Detecção de queda habilitada pelo OpenPose.

Link to this sectionPrós e contras do OpenPose#

Aqui está um vislumbre de algumas das vantagens que o OpenPose oferece:

• Útil para pesquisa e prototipagem: Tem sido amplamente utilizado em pesquisas acadêmicas, especialmente em campos como interação humano-computador, biomecânica e análise comportamental.
• Suporte multiplataforma: Pode rodar em Windows, Linux e macOS, com suporte para unidades de processamento central (CPUs) e unidades de processamento gráfico (GPUs).
• Capacidade de processamento offline: Pode rodar em ambientes sem acesso à internet, tornando-o ideal para configurações sensíveis à privacidade, como saúde ou educação.

Embora o OpenPose tenha sido um grande passo à frente, ele também tem limitações técnicas que é importante manter em mente. Aqui estão alguns dos principais desafios associados ao OpenPose:

• Altas demandas de processamento: Rodar o OpenPose em tempo real requer uma GPU potente e recursos computacionais significativos.
• Sensível ao ambiente: O desempenho pode diminuir em condições de pouca luz, espaços lotados ou quando os ângulos da câmera não são ideais.
• Pesado em comparação com modelos mais novos: Comparado a modelos de estimativa de pose mais novos, o OpenPose é relativamente grande e mais lento. Não é adequado para implementação em dispositivos com recursos limitados, como smartphones, tablets ou sistemas embarcados.

Link to this sectionPrincipais pontos#

O OpenPose desempenhou um papel importante em tornar a estimativa de pose mais acessível. Ele mostrou que o rastreamento de movimentos corporais poderia ser feito com uma câmera simples, sem depender de trajes ou equipamentos especializados.

Ele estabeleceu a base para muitas aplicações práticas em saúde, educação, entretenimento e pesquisa. Embora modelos mais novos ofereçam hoje velocidades mais rápidas e desempenho mais leve, o OpenPose permanece um ponto de referência fundamental para entender como a estimativa de pose evoluiu.

Junte-se à nossa comunidade e visite nosso repositório no GitHub para aprender mais sobre IA. Se você deseja construir suas próprias soluções de visão computacional, explore nossas opções de licenciamento. Além disso, veja como a visão computacional na saúde e a IA na logística estão causando impacto!