O que é correspondência de imagens em IA para visão computacional? Uma introdução rápida

Quando olhas para duas imagens do mesmo objeto, como uma pintura e uma fotografia de um carro, é fácil perceber o que têm em comum. Para as máquinas, no entanto, isto não é assim tão simples.

Para fazer estas comparações, as máquinas recorrem à visão computacional, um ramo da inteligência artificial (AI) que as ajuda a interpretar e compreender informações visuais. A visão computacional permite aos sistemas detetar objetos, compreender cenas e extrair padrões de imagens ou vídeos.

Em particular, algumas tarefas visuais vão além da análise de uma única imagem. Envolvem comparar imagens para encontrar semelhanças, identificar diferenças ou acompanhar alterações ao longo do tempo.

A IA de visão abrange um vasto conjunto de técnicas e uma capacidade essencial, conhecida como correspondência de imagens, centra-se na identificação de semelhanças entre imagens, mesmo quando a iluminação, os ângulos ou os fundos variam. Esta técnica pode ser utilizada em várias aplicações, incluindo robótica, realidade aumentada e mapeamento geográfico.

Neste artigo, vamos explorar o que é a correspondência de imagens, as suas principais técnicas e algumas das suas aplicações no mundo real. Vamos começar!

O que é a correspondência de imagens?#

A correspondência de imagens permite que um sistema informático compreenda se duas imagens contêm conteúdo semelhante. Os seres humanos conseguem fazê-lo intuitivamente, observando formas, cores e padrões.

Os computadores, por outro lado, dependem de dados numéricos. Analisam as imagens examinando cada píxel, que é a unidade mais pequena de uma imagem digital.

Cada imagem é armazenada como uma grelha de píxeis e, normalmente, cada píxel contém valores para vermelho, verde e azul (RGB). Estes valores podem mudar quando uma imagem é rodada, redimensionada, vista de um ângulo diferente ou captada sob condições de iluminação distintas. Devido a estas variações, comparar imagens píxel a píxel é frequentemente pouco fiável.

Para tornar as comparações mais consistentes, a correspondência de imagens concentra-se em características locais, como cantos, arestas e regiões texturizadas, que tendem a permanecer estáveis mesmo quando uma imagem sofre pequenas alterações. Ao detetar estas características, ou pontos-chave, em várias imagens, um sistema pode compará-las com muito maior precisão.

Este processo é amplamente utilizado em casos de utilização como navegação, localização, realidade aumentada, mapeamento, reconstrução 3D e pesquisa visual. Quando os sistemas identificam os mesmos pontos em diferentes imagens ou em vários fotogramas, conseguem acompanhar movimentos, compreender a estrutura das cenas e tomar decisões fiáveis em ambientes dinâmicos.

Fig. 1. Um exemplo de correspondência de imagens de carros com identificação de pontos-chave semelhantes. (Fonte)

Compreender como funciona a correspondência de imagens#

A correspondência de imagens envolve várias etapas essenciais que ajudam os sistemas a identificar e comparar regiões semelhantes dentro das imagens. Cada etapa melhora a precisão, a consistência e a robustez em diferentes condições.

Vejamos passo a passo como funciona a correspondência de imagens:

• Deteção de características: Primeiro, o sistema identifica pontos-chave distintos numa imagem que permanecem fixos mesmo quando a iluminação, a escala ou o ângulo de visão mudam. Estes pontos destacam áreas como cantos, arestas ou regiões texturizadas que sobressaem visualmente.
• Descrição de características: Cada ponto-chave é então convertido num descritor, que é um vetor numérico compacto que captura o padrão visual em torno desse ponto. Estes descritores fornecem uma forma fiável de comparar características entre diferentes imagens.
• Correspondência de características: Os descritores de duas imagens são comparados através de algoritmos de correspondência que calculam o grau de semelhança entre eles. Esta etapa associa pontos-chave que parecem corresponder e filtra correspondências mais fracas ou pouco fiáveis.
• Verificação geométrica: Por fim, o sistema verifica se os pontos-chave correspondentes formam uma relação geométrica realista. Remove correspondências incorretas, chamadas valores atípicos, através de um método conhecido como RANSAC (Consenso de Amostras Aleatórias), garantindo que apenas são mantidos pares de pontos fiáveis. Depois de identificar as boas correspondências, o sistema estima a transformação que melhor relaciona as duas imagens. Esta é frequentemente uma transformação afim, que ajusta alterações como o redimensionamento, a rotação e a translação, ou uma homografia, que também consegue lidar com alterações de perspetiva. A utilização destas transformações permite ao sistema alinhar as imagens com precisão, mesmo quando foram captadas a partir de pontos de vista ligeiramente diferentes.

Fig. 2. (a) Extração de pontos de características e (b) correspondência de características. (Fonte)

Principais técnicas envolvidas na correspondência de imagens#

Antes de explorarmos as aplicações da correspondência de imagens no mundo real, vamos analisar mais de perto as técnicas de correspondência de imagens utilizadas nos sistemas de visão computacional.

Correspondência de imagens baseada em modelos#

A correspondência por modelos é um dos métodos de correspondência de imagens mais simples. É geralmente considerada uma técnica de processamento de imagens, e não um método moderno de visão computacional, porque depende de comparações diretas de píxeis e não extrai características visuais mais profundas.

É utilizada para localizar uma imagem de referência mais pequena, ou modelo, dentro de uma cena maior. Funciona através de um algoritmo que desliza um modelo pela imagem principal e calcula uma pontuação de semelhança em cada posição para medir o grau de correspondência entre as duas regiões. A área com a pontuação mais elevada é considerada a melhor correspondência, indicando onde é mais provável que o objeto apareça na cena.

Fig. 3. Uma visão da utilização da correspondência por modelos. (Fonte)

Esta técnica funciona bem quando a escala, a rotação e a iluminação do objeto permanecem consistentes, sendo uma boa escolha para ambientes controlados ou comparações de referência. No entanto, o seu desempenho diminui quando o objeto tem um aspeto diferente do modelo, por exemplo, quando o seu tamanho muda, é rodado, fica parcialmente ocluído ou aparece perante um fundo ruidoso ou complexo.

Técnicas clássicas baseadas em características para correspondência de imagens#

Antes de a aprendizagem profunda ser amplamente adotada, a correspondência de imagens dependia sobretudo de algoritmos clássicos de visão computacional que detetavam pontos-chave distintos numa imagem. Em vez de comparar cada píxel, estes métodos analisam gradientes da imagem, ou alterações de intensidade, para destacar cantos, arestas e regiões texturizadas que sobressaem.

Cada ponto-chave detetado é então representado através de um resumo numérico compacto chamado descritor. Ao comparar duas imagens, um sistema de correspondência avalia estes descritores para encontrar os pares mais semelhantes.

Uma pontuação de semelhança elevada normalmente indica que o mesmo ponto físico aparece em ambas as imagens. Os sistemas de correspondência também utilizam métricas de distância específicas ou regras de pontuação para avaliar o grau de alinhamento das características, melhorando a fiabilidade geral.

Eis alguns dos principais algoritmos clássicos de visão computacional utilizados para a correspondência de imagens:

• SIFT (Transformação de Características Invariante à Escala): Identifica pontos-chave através da análise dos gradientes de intensidade da imagem, permitindo que permaneçam reconhecíveis quando uma imagem é ampliada, reduzida ou rodada.

• SURF (Características Robustas Aceleradas): Este algoritmo é semelhante ao SIFT, mas está otimizado para a velocidade. Utiliza aproximações rápidas de operações baseadas em gradientes, tornando-o adequado para aplicações que exigem tempos de resposta rápidos.

• ORB (FAST Orientado e BRIEF Rodado): Reúne dois algoritmos chamados FAST e BRIEF. O FAST encontra rapidamente pontos semelhantes a cantos numa imagem, enquanto o BRIEF cria uma descrição compacta de cada ponto para que possam ser associados entre imagens. O ORB também melhora ambas as etapas ao adicionar suporte para rotações, tornando-o rápido e fiável.

Fig. 4. Pontos de características SURF extraídos e associados entre duas imagens. (Fonte)

Técnicas de aprendizagem profunda para correspondência de imagens#

Ao contrário dos métodos clássicos, que dependem de regras específicas, a aprendizagem profunda aprende automaticamente características a partir de grandes conjuntos de dados, que são coleções de dados visuais a partir das quais os modelos de AI aprendem padrões. Estes modelos são normalmente executados em GPUs (Unidades de Processamento Gráfico), que fornecem o elevado poder computacional necessário para processar grandes lotes de imagens e treinar redes neuronais complexas de forma eficiente.

Isto permite que os modelos de AI lidem com alterações do mundo real, como iluminação, ângulos da câmara e oclusões. Alguns modelos também combinam todas as etapas num único fluxo de trabalho, proporcionando um desempenho robusto em condições desafiantes.

Eis algumas abordagens de aprendizagem profunda para a extração e correspondência de características de imagens:

• Extração de características baseada em CNN: Estes modelos aprendem automaticamente padrões visuais essenciais a partir de grandes conjuntos de dados. Reconhecem características que dificilmente mudam, tornando-os fiáveis para associar objetos em diferentes cenas.

• Correspondência baseada em embeddings: Em vez de comparar diretamente os píxeis, este método transforma as imagens em representações numéricas compactas conhecidas como embeddings. O sistema de correspondência compara então estes embeddings para encontrar elementos visuais semelhantes. Modelos como o FaceNet, que gera embeddings para reconhecer e comparar rostos, e o CLIP, que mapeia imagens e texto para um espaço partilhado em tarefas como pesquisa de imagens e correspondência semântica, seguem esta abordagem.

• Fluxos de trabalho de correspondência de ponta a ponta: Os sistemas de aprendizagem profunda mais avançados combinam frequentemente a deteção, a descrição e a correspondência de pontos-chave num fluxo de trabalho unificado. Modelos como SuperPoint e D2-Net aprendem tanto os pontos-chave como os descritores diretamente a partir de mapas de características CNN, enquanto o SuperGlue funciona como um sistema de correspondência aprendido que associa estes descritores de forma mais fiável do que os métodos tradicionais. Em conjunto, estes componentes criam um fluxo de trabalho de ponta a ponta que oferece maior precisão e robustez em condições desafiantes do que as abordagens clássicas baseadas em características.

• Correspondência baseada em Transformer: Este método utiliza mecanismos de atenção para associar regiões correspondentes entre duas imagens, permitindo alinhar blocos mesmo perante fortes alterações de ponto de vista, iluminação ou textura. Modelos como o LoFTR (Transformer de Características Locais) alcançam uma precisão muito superior porque o campo recetivo global do Transformer permite uma correspondência fiável em áreas com pouca textura, desfocadas ou repetitivas, onde os detetores tradicionais falham. O LoFTR produz correspondências semidensas e de elevada confiança, superando por uma margem significativa os anteriores métodos de vanguarda em referências de avaliação interiores e exteriores.

• Modelos focados na eficiência: Os modelos mais recentes de correspondência de imagens procuram oferecer elevada precisão com uma execução mais rápida. Modelos como o LightGlue foram concebidos para funcionar de forma eficiente em dispositivos com poder computacional limitado, mantendo uma boa qualidade de correspondência.

Aplicações da correspondência de imagens no mundo real#

Agora que compreendemos melhor como funciona a correspondência de imagens, vejamos algumas aplicações do mundo real em que desempenha um papel importante.

Robótica mais inteligente impulsionada pela correspondência de imagens#

Os robôs operam frequentemente em ambientes movimentados e em constante mudança, onde precisam de compreender que objetos estão presentes e como estão posicionados. A correspondência de imagens pode ajudar os robôs a compreender os objetos que veem, comparando-os com imagens armazenadas ou de referência. Isto facilita o reconhecimento de objetos, o acompanhamento dos seus movimentos e a adaptação mesmo quando a iluminação ou os ângulos da câmara mudam.

Por exemplo, num armazém, um sistema robótico de recolha e colocação pode utilizar a correspondência de imagens para identificar e manusear diferentes artigos. Primeiro, o robô agarra um objeto e depois compara a sua imagem com amostras de referência para o identificar.

Fig. 5. Um robô reconhece e recolhe objetos através da correspondência com imagens de referência. (Fonte)

Depois de encontrar a correspondência, o robô sabe como o separar ou colocar corretamente. Esta abordagem permite aos robôs reconhecer objetos familiares e novos sem voltar a treinar todo o sistema. Também os ajuda a tomar melhores decisões em tempo real, como organizar prateleiras, montar peças ou reorganizar artigos.

Melhorar a reconstrução 3D com uma correspondência de imagens mais eficaz#

Em áreas como o mapeamento por drones, a realidade virtual e a inspeção de edifícios, os sistemas precisam frequentemente de reconstruir um modelo 3D a partir de várias imagens 2D. Para isso, recorrem à correspondência de imagens para identificar pontos-chave comuns, como cantos ou regiões texturizadas, que aparecem em várias imagens.

Estes pontos partilhados ajudam o sistema a compreender a relação entre as imagens no espaço 3D. Esta ideia está estreitamente relacionada com a Estrutura a partir do Movimento (SfM), uma técnica que constrói estruturas 3D identificando e associando pontos-chave em imagens captadas a partir de diferentes pontos de vista.

Se a correspondência não for precisa, o modelo 3D resultante pode parecer distorcido ou incompleto. Por este motivo, os investigadores têm trabalhado para melhorar a fiabilidade da correspondência de imagens na reconstrução 3D, e os avanços recentes têm apresentado resultados promissores.

Um exemplo interessante é o HashMatch, um algoritmo de correspondência de imagens mais rápido e robusto. O HashMatch converte os detalhes das imagens em padrões compactos chamados códigos hash, o que facilita a identificação de correspondências corretas e a remoção de valores atípicos, mesmo quando a iluminação ou os pontos de vista variam.

Quando foi testado em conjuntos de dados de grande escala, o HashMatch produziu modelos de reconstrução 3D mais limpos e realistas, com menos erros de alinhamento. Isto torna-o especialmente útil em aplicações como mapeamento por drones, sistemas de AR e preservação do património cultural, onde a precisão é essencial.

O papel da correspondência de imagens na realidade aumentada#

No que diz respeito à realidade aumentada (AR), manter os objetos virtuais alinhados com o mundo real é frequentemente um desafio. Os ambientes exteriores podem mudar constantemente consoante as condições ambientais, como a luz solar e o estado do tempo. Diferenças subtis no mundo real podem fazer com que os elementos virtuais pareçam instáveis ou ligeiramente deslocados.

Para resolver este problema, os sistemas de AR utilizam a correspondência de imagens para interpretar o ambiente. Ao comparar fotogramas captados em direto pela câmara com imagens de referência armazenadas, conseguem compreender onde o utilizador está e como a cena mudou.

Fig. 6. Pontos de características associados entre duas imagens. (Fonte: theijes.com)

Por exemplo, num estudo que envolveu treino de AR exterior de estilo militar com óculos XR (Realidade Estendida), os investigadores utilizaram SIFT e outros métodos baseados em características para associar detalhes visuais entre imagens reais e de referência. As correspondências precisas mantiveram os elementos virtuais corretamente alinhados com o mundo real, mesmo quando o utilizador se movia rapidamente ou a iluminação mudava.

Principais conclusões#

A correspondência de imagens é um componente fundamental da visão computacional, permitindo que os sistemas compreendam a relação entre diferentes imagens ou como uma cena muda ao longo do tempo. Desempenha um papel essencial na robótica, na realidade aumentada, na reconstrução 3D, na navegação autónoma e em muitas outras aplicações do mundo real onde a precisão e a estabilidade são fundamentais.

Com modelos avançados de AI como o SuperPoint e o LoFTR, os sistemas atuais estão a tornar-se muito mais robustos do que os métodos anteriores. À medida que as técnicas de aprendizagem automática, os módulos especializados de visão, as redes neuronais e os conjuntos de dados continuam a evoluir, é provável que a correspondência de imagens se torne mais rápida, precisa e adaptável.

Junta-te à nossa crescente comunidade e explora o nosso repositório no GitHub para obter recursos práticos de AI. Para desenvolver hoje com IA de visão, explora as nossas opções de licenciamento. Descobre como a AI na agricultura está a transformar o setor agrícola e como a IA de visão na área da saúde está a moldar o futuro, visitando as nossas páginas de soluções.