O que é correspondência de imagens em IA de visão? Uma breve introdução

Quando você observa duas imagens do mesmo objeto, como uma pintura e uma fotografia de um carro, é fácil perceber o que elas têm em comum. Para as máquinas, porém, isso não é tão simples.

Para fazer essas comparações, as máquinas dependem da visão computacional, um ramo da inteligência artificial (AI) que as ajuda a interpretar e compreender informações visuais. A visão computacional permite que os sistemas detectem objetos, compreendam cenas e extraiam padrões de imagens ou vídeos.

Em particular, algumas tarefas visuais vão além da análise de uma única imagem. Elas envolvem comparar imagens para encontrar semelhanças, identificar diferenças ou acompanhar mudanças ao longo do tempo.

A IA de visão abrange um amplo conjunto de técnicas, e uma capacidade essencial, conhecida como correspondência de imagens, concentra-se em identificar semelhanças entre imagens, mesmo quando a iluminação, os ângulos ou os fundos variam. Essa técnica pode ser usada em várias aplicações, incluindo robótica, realidade aumentada e mapeamento geográfico.

Neste artigo, vamos explorar o que é correspondência de imagens, suas principais técnicas e algumas de suas aplicações no mundo real.

O que é correspondência de imagens?#

A correspondência de imagens permite que um sistema computacional identifique se duas imagens contêm conteúdo semelhante. As pessoas conseguem fazer isso intuitivamente, percebendo formas, cores e padrões.

Os computadores, por outro lado, dependem de dados numéricos. Eles analisam as imagens examinando cada pixel, a menor unidade de uma imagem digital.

Cada imagem é armazenada como uma grade de pixels, e cada pixel normalmente contém valores para vermelho, verde e azul (RGB). Esses valores podem mudar quando uma imagem é girada, redimensionada, vista de outro ângulo ou capturada sob condições de iluminação diferentes. Por causa dessas variações, comparar imagens pixel por pixel costuma ser pouco confiável.

Para tornar as comparações mais consistentes, a correspondência de imagens se concentra em características locais, como cantos, bordas e regiões texturizadas, que tendem a permanecer estáveis mesmo quando uma imagem muda ligeiramente. Ao detectar essas características, ou pontos-chave, em várias imagens, um sistema pode compará-las com muito mais precisão.

Esse processo é amplamente usado em aplicações como navegação, localização, realidade aumentada, mapeamento, reconstrução 3D e busca visual. Quando os sistemas identificam os mesmos pontos em imagens diferentes ou em vários quadros, podem acompanhar movimentos, compreender a estrutura das cenas e tomar decisões confiáveis em ambientes dinâmicos.

Fig. 1. Exemplo de correspondência de imagens de um carro com identificação de pontos-chave semelhantes. (Fonte)

Entenda como funciona a correspondência de imagens#

A correspondência de imagens envolve várias etapas importantes que ajudam os sistemas a identificar e comparar regiões semelhantes nas imagens. Cada etapa melhora a precisão, a consistência e a robustez em diferentes condições.

Veja passo a passo como funciona a correspondência de imagens:

• Detecção de características: Primeiro, o sistema identifica pontos-chave distintos em uma imagem que permanecem reconhecíveis mesmo quando a iluminação, a escala ou o ângulo de visão mudam. Eles destacam áreas como cantos, bordas ou regiões texturizadas que se sobressaem visualmente.
• Descrição de características: em seguida, cada ponto-chave é convertido em um descritor, um vetor numérico compacto que captura o padrão visual ao redor desse ponto. Esses descritores oferecem uma maneira confiável de comparar características entre imagens diferentes.
• Correspondência de características: os descritores de duas imagens são comparados usando algoritmos de correspondência que calculam o grau de semelhança entre eles. Essa etapa associa pontos-chave que parecem corresponder e filtra correspondências menos confiáveis ou mais fracas.
• Verificação geométrica: por fim, o sistema verifica se os pontos-chave correspondentes formam uma relação geométrica realista. Ele remove correspondências incorretas, chamadas de valores atípicos, usando um método conhecido como RANSAC (Random Sample Consensus), que garante a manutenção apenas de pares de pontos confiáveis. Depois de identificar as boas correspondências, o sistema estima a transformação que melhor relaciona as duas imagens. Geralmente, trata-se de uma transformação afim, que ajusta mudanças como escala, rotação e deslocamento, ou de uma homografia, que também pode lidar com mudanças de perspectiva. O uso dessas transformações permite alinhar as imagens com precisão, mesmo quando elas foram capturadas de pontos de vista ligeiramente diferentes.

Fig. 2. (a) Extração de pontos característicos e (b) correspondência de características. (Fonte)

Principais técnicas envolvidas na correspondência de imagens#

Antes de explorarmos as aplicações da correspondência de imagens no mundo real, vamos primeiro analisar mais de perto as técnicas de correspondência de imagens usadas em sistemas de visão computacional.

Correspondência de imagens baseada em correspondência de modelos#

A correspondência de modelos é um dos métodos mais simples de correspondência de imagens. Em geral, é considerada uma técnica de processamento de imagens, e não um método moderno de visão computacional, porque depende de comparações diretas entre pixels e não extrai características visuais mais profundas.

Ela é usada para localizar uma imagem de referência menor, ou modelo, dentro de uma cena maior. O método funciona com um algoritmo que desliza o modelo pela imagem principal e calcula uma pontuação de similaridade em cada posição para medir o quanto as duas regiões correspondem. A área com a pontuação mais alta é considerada a melhor correspondência e indica onde o objeto provavelmente aparece na cena.

Fig. 3. Exemplo de uso da correspondência de modelos. (Fonte)

Essa técnica funciona bem quando a escala, a rotação e a iluminação do objeto permanecem constantes, o que a torna uma boa opção para ambientes controlados ou comparações de referência. No entanto, seu desempenho diminui quando o objeto parece diferente do modelo, por exemplo, quando seu tamanho muda, ele é girado, fica parcialmente ocluso ou aparece contra um fundo ruidoso ou complexo.

Técnicas clássicas de correspondência de imagens baseadas em características#

Antes da ampla adoção do aprendizado profundo, a correspondência de imagens dependia principalmente de algoritmos clássicos de visão computacional que detectavam pontos-chave distintos em uma imagem. Em vez de comparar cada pixel, esses métodos analisam gradientes da imagem, ou mudanças de intensidade, para destacar cantos, bordas e regiões texturizadas que se sobressaem.

Cada ponto-chave detectado é então representado por um resumo numérico compacto chamado descritor. Ao comparar duas imagens, um algoritmo de correspondência avalia esses descritores para encontrar os pares mais semelhantes.

Uma pontuação de similaridade alta geralmente indica que o mesmo ponto físico aparece nas duas imagens. Os algoritmos de correspondência também usam métricas de distância ou regras de pontuação específicas para avaliar o grau de alinhamento das características, aumentando a confiabilidade geral.

Veja alguns dos principais algoritmos clássicos de visão computacional usados para correspondência de imagens:

• SIFT (Transformada de características invariante à escala): identifica pontos-chave analisando os gradientes de intensidade da imagem, permitindo que eles continuem reconhecíveis quando a imagem é ampliada, reduzida ou girada.
• SURF (Características robustas aceleradas): esse algoritmo é semelhante ao SIFT, mas é otimizado para velocidade. Ele usa aproximações rápidas de operações baseadas em gradientes, sendo adequado para aplicações que exigem tempos de resposta curtos.
• ORB (FAST orientado e BRIEF rotacionado): combina dois algoritmos chamados FAST e BRIEF. O FAST encontra rapidamente pontos semelhantes a cantos em uma imagem, enquanto o BRIEF cria uma descrição compacta de cada ponto para que eles possam ser correspondidos entre imagens. O ORB também aprimora as duas etapas ao levar a rotação em conta, tornando o processo rápido e confiável.

Fig. 4. Pontos característicos SURF extraídos e correspondidos entre duas imagens. (Fonte)

Técnicas de correspondência de imagens baseadas em aprendizado profundo#

Ao contrário dos métodos clássicos, que dependem de regras específicas, o aprendizado profundo aprende características automaticamente a partir de grandes conjuntos de dados, que são coleções de dados visuais das quais os modelos de IA aprendem padrões. Esses modelos geralmente são executados em GPUs (unidades de processamento gráfico), que fornecem o alto poder computacional necessário para processar grandes lotes de imagens e treinar redes neurais complexas com eficiência.

Isso dá aos modelos de IA a capacidade de lidar com mudanças do mundo real, como variações de iluminação, ângulos de câmera e oclusões. Alguns modelos também combinam todas as etapas em um único fluxo de trabalho, oferecendo um desempenho robusto em condições desafiadoras.

Veja algumas abordagens de aprendizado profundo para extração e correspondência de características de imagens:

• Extração de características baseada em CNN: esses modelos aprendem automaticamente os principais padrões visuais a partir de grandes conjuntos de dados. Eles reconhecem características que provavelmente não mudarão, o que os torna confiáveis para corresponder objetos em cenas diferentes.
• Correspondência baseada em embeddings: Em vez de comparar pixels diretamente, esse método transforma imagens em representações numéricas compactas conhecidas como embeddings. Em seguida, o mecanismo de correspondência compara esses embeddings para encontrar imagens semelhantes. Modelos como o FaceNet, que gera embeddings para reconhecer e comparar rostos, e o CLIP, que mapeia imagens e texto em um espaço compartilhado para tarefas como pesquisa de imagens e correspondência semântica, seguem essa abordagem.
• Pipelines de correspondência de ponta a ponta: Os sistemas modernos de aprendizado profundo geralmente combinam detecção de pontos-chave, descrição e correspondência em um fluxo de trabalho unificado. Modelos como SuperPoint e D2-Net aprendem tanto os pontos-chave quanto os descritores diretamente dos mapas de características de CNN, enquanto o SuperGlue atua como um mecanismo de correspondência aprendido que combina esses descritores com mais confiabilidade do que os métodos tradicionais. Juntos, esses componentes criam um pipeline de ponta a ponta que oferece maior precisão e robustez em condições desafiadoras do que as abordagens clássicas baseadas em características.
• Correspondência baseada em Transformer: esse método usa mecanismos de atenção para associar regiões correspondentes em duas imagens, permitindo alinhar recortes mesmo com grandes mudanças de ponto de vista, iluminação ou textura. Modelos como o LoFTR (Transformer de características locais) alcançam uma precisão muito maior porque o campo receptivo global do Transformer permite correspondências confiáveis em áreas com poucas texturas, desfocadas ou repetitivas, nas quais os detectores tradicionais falham. O LoFTR produz correspondências semidensas e de alta confiança, superando por ampla margem os métodos de última geração anteriores em benchmarks internos e externos.
• Modelos com foco em eficiência: modelos mais recentes de correspondência de imagens buscam oferecer alta precisão com execução mais rápida. Modelos como o LightGlue foram projetados para funcionar com eficiência em dispositivos com capacidade computacional limitada, mantendo uma boa qualidade de correspondência.

Aplicações da correspondência de imagens no mundo real#

Agora que entendemos melhor como funciona a correspondência de imagens, vamos conhecer algumas aplicações do mundo real nas quais ela desempenha um papel importante.

Robótica mais inteligente com correspondência de imagens#

Robôs costumam operar em ambientes movimentados e dinâmicos, onde precisam entender quais objetos estão presentes e como estão posicionados. A correspondência de imagens pode ajudar os robôs a entender os objetos que veem, comparando-os com imagens armazenadas ou de referência. Isso facilita o reconhecimento de objetos, o rastreamento de seus movimentos e a adaptação mesmo quando a iluminação ou os ângulos de câmera mudam.

Por exemplo, em um armazém, um sistema robótico de separação e posicionamento pode usar a correspondência de imagens para identificar e manusear diferentes itens. Primeiro, o robô pega um objeto e, em seguida, compara sua imagem com amostras de referência para identificá-lo.

Fig. 5. Um robô reconhece e pega objetos comparando-os com imagens de referência. (Fonte)

Depois de encontrar a correspondência, o robô sabe como separar ou posicionar o objeto corretamente. Essa abordagem permite que os robôs reconheçam objetos conhecidos e novos sem precisar retreinar todo o sistema. Ela também ajuda os robôs a tomar decisões melhores em tempo real, como organizar prateleiras, montar peças ou reorganizar itens.

Como aprimorar a reconstrução 3D com uma correspondência de imagens melhor#

Em áreas como mapeamento com drones, realidade virtual e inspeção de edifícios, os sistemas geralmente precisam reconstruir um modelo 3D a partir de várias imagens 2D. Para isso, eles usam a correspondência de imagens para identificar pontos-chave comuns, como cantos ou regiões texturizadas, que aparecem em várias imagens.

Esses pontos em comum ajudam o sistema a entender como as imagens se relacionam entre si no espaço 3D. Essa ideia está intimamente relacionada à estrutura a partir do movimento (SfM), uma técnica que constrói estruturas 3D identificando e correspondendo pontos-chave em imagens capturadas de diferentes pontos de vista.

Se a correspondência não for precisa, o modelo 3D resultante pode parecer distorcido ou incompleto. Por isso, pesquisadores vêm trabalhando para aumentar a confiabilidade da correspondência de imagens na reconstrução 3D, e avanços recentes já apresentam resultados promissores.

Um exemplo interessante é o HashMatch, um algoritmo de correspondência de imagens mais rápido e robusto. O HashMatch converte detalhes das imagens em padrões compactos chamados códigos hash, o que facilita a identificação de correspondências corretas e a remoção de valores discrepantes, mesmo quando a iluminação ou os pontos de vista variam.

Quando testado em conjuntos de dados de grande escala, o HashMatch produziu modelos de reconstrução 3D mais limpos e realistas, com menos erros de alinhamento. Isso o torna especialmente útil em aplicações como mapeamento com drones, sistemas de RA e preservação do patrimônio cultural, nas quais a precisão é essencial.

O papel da correspondência de imagens na realidade aumentada#

Na realidade aumentada (RA), manter objetos virtuais alinhados com o mundo real costuma ser um desafio. Ambientes externos podem mudar constantemente de acordo com condições ambientais, como luz solar e clima. Diferenças sutis no mundo real podem fazer os elementos virtuais parecerem instáveis ou ligeiramente fora do lugar.

Para resolver esse problema, os sistemas de RA usam a correspondência de imagens para interpretar o ambiente ao redor. Comparando quadros da câmera em tempo real com imagens de referência armazenadas, eles conseguem entender onde o usuário está e como a cena mudou.

Fig. 6. Pontos característicos correspondidos entre duas imagens. (Fonte: theijes.com)

Por exemplo, em um estudo sobre treinamento externo com RA em estilo militar, com óculos de XR (realidade estendida), pesquisadores usaram o SIFT e outros métodos baseados em características para corresponder detalhes visuais entre imagens reais e de referência. Correspondências precisas mantiveram os elementos virtuais corretamente alinhados com o mundo real, mesmo quando o usuário se movia rapidamente ou a iluminação mudava.

Principais conclusões#

A correspondência de imagens é um componente fundamental da visão computacional, permitindo que os sistemas entendam como diferentes imagens se relacionam entre si ou como uma cena muda ao longo do tempo. Ela desempenha um papel essencial na robótica, na realidade aumentada, na reconstrução 3D, na navegação autônoma e em muitas outras aplicações do mundo real nas quais a precisão e a estabilidade são essenciais.

Com modelos avançados de IA como SuperPoint e LoFTR, os sistemas atuais estão se tornando muito mais robustos do que os métodos anteriores. À medida que as técnicas de aprendizado de máquina, os módulos especializados de visão, as redes neurais e os conjuntos de dados continuam evoluindo, a correspondência de imagens provavelmente se tornará mais rápida, precisa e adaptável.

Participe da nossa crescente comunidade e explore nosso repositório no GitHub para encontrar recursos práticos de IA. Para desenvolver soluções com IA visual hoje, conheça nossas opções de licenciamento. Saiba como a IA na agricultura está transformando o setor agrícola e como a IA visual na área da saúde está moldando o futuro visitando nossas páginas de soluções.