O que é a Transformada de Características Invariante à Escala (SIFT)?

Para uma explicação visual dos conceitos abordados neste artigo, assista ao vídeo abaixo.

Atualmente, muitos dos dispositivos inteligentes que usamos, desde telemóveis e câmaras até sistemas domésticos inteligentes, incluem soluções de IA capazes de reconhecer rostos, objetos e até cenas visuais inteiras. Esta capacidade vem da visão computacional, uma área da inteligência artificial que permite às máquinas compreender e interpretar imagens e vídeos.

Por exemplo, se tirares uma fotografia da Torre Eiffel de qualquer ângulo ou distância, o teu dispositivo normalmente consegue reconhecê-la usando visão computacional e organizá-la na pasta correta da tua galeria. Embora isto pareça simples, reconhecer objetos nem sempre é fácil. As imagens podem parecer muito diferentes dependendo do seu tamanho, ângulo, escala ou iluminação, o que dificulta a sua identificação consistente pelas máquinas.

Para ajudar a resolver este problema, os investigadores desenvolveram um algoritmo de visão computacional chamado Transformada de Características Invariante à Escala, ou SIFT. Este algoritmo permite detetar objetos em diferentes condições de visualização. Criada por David Lowe em 1999, a SIFT foi concebida para encontrar e descrever pontos-chave únicos numa imagem, como cantos, arestas ou padrões que permanecem reconhecíveis mesmo quando a imagem é redimensionada, rodada ou iluminada de forma diferente.

Antes de os modelos de visão computacional baseados em aprendizagem profunda, como o Ultralytics YOLO11, se tornarem populares, a SIFT era uma técnica amplamente utilizada em visão computacional. Era uma abordagem padrão para tarefas como o reconhecimento de objetos, cujo objetivo é identificar um item específico numa fotografia, e a correspondência de imagens, em que as fotografias são alinhadas através da identificação de características de imagem sobrepostas.

Neste artigo, vamos explorar a SIFT com uma visão geral rápida do que é, de como funciona a um nível elevado e da razão pela qual é importante na evolução da visão computacional. Vamos começar!

Por que razão o algoritmo SIFT é essencial para a visão computacional#

Numa imagem, um objeto pode aparecer de muitas formas diferentes. Por exemplo, uma caneca de café pode ser fotografada de cima, de lado, sob luz solar intensa ou sob uma lâmpada quente. A mesma caneca também pode parecer maior quando está perto da câmara e mais pequena quando está mais distante.

Todas estas diferenças tornam complexa a tarefa de ensinar um computador a reconhecer um objeto. Esta tarefa de visão computacional, conhecida como deteção de objetos, exige que os modelos de IA de visão identifiquem e localizem objetos com precisão, mesmo quando o seu tamanho, ângulo ou condições de iluminação mudam.

Para tornar isto possível, a visão computacional depende de um processo chamado extração de características ou deteção. Em vez de tentar compreender a imagem inteira de uma só vez, um modelo procura características distintas da imagem, como cantos nítidos, padrões únicos ou texturas que permanecem reconhecíveis através de diferentes ângulos, escalas e condições de iluminação.

Em particular, foi para isto que a Transformada de Características Invariante à Escala, ou SIFT, foi concebida. A SIFT é um algoritmo de deteção e descrição de características que consegue identificar objetos de forma fiável em imagens, independentemente da forma como são captados.

Conseguir invariância à escala#

O algoritmo SIFT tem algumas propriedades importantes que o tornam útil para o reconhecimento de objetos. Uma das principais chama-se invariância à escala. Isto significa que a SIFT consegue reconhecer várias partes de um objeto, quer este pareça grande e esteja perto da câmara, quer pareça pequeno e esteja longe. Mesmo que o objeto não esteja totalmente visível, o algoritmo ainda consegue identificar os mesmos pontos-chave.

Fá-lo usando um conceito chamado teoria do espaço de escala. Em termos simples, a imagem é desfocada em diferentes níveis para criar várias versões. A SIFT analisa então estas versões para encontrar padrões e detalhes que permanecem iguais, independentemente da forma como o tamanho ou a nitidez da imagem mudam.

Por exemplo, um sinal rodoviário fotografado a alguns metros de distância parecerá muito maior do que o mesmo sinal captado à distância, mas a SIFT consegue ainda detetar as mesmas características distintas. Isto permite fazer corretamente a correspondência entre as duas imagens, apesar de o sinal aparecer em escalas muito diferentes.

Garantir invariância à rotação#

Os objetos nas imagens também podem aparecer rodados, por vezes até de cabeça para baixo. A SIFT lida com isto através de uma propriedade chamada invariância à rotação. Para cada ponto-chave que deteta, o algoritmo atribui uma orientação consistente com base nos gradientes locais da imagem. Desta forma, o mesmo objeto pode ser reconhecido independentemente da forma como está rodado.

Podes pensar nisto como marcar cada ponto-chave com uma pequena seta que mostra a direção para a qual aponta. Ao alinhar as características com estas orientações, a SIFT garante que os pontos-chave correspondem corretamente mesmo quando o objeto está rodado. Por exemplo, um ponto de referência captado numa fotografia de paisagem pode continuar a ser identificado corretamente mesmo que outra fotografia seja tirada com a câmara inclinada.

Resiliência a outras variações da imagem#

Para além do tamanho e da rotação, as imagens também podem mudar de outras formas, como devido a alterações na iluminação. A iluminação de um objeto pode passar de intensa a fraca, o ângulo da câmara pode mudar ligeiramente ou a imagem pode ficar desfocada ou com ruído.

A SIFT foi concebida para lidar com este tipo de variações. Fá-lo concentrando-se em pontos-chave distintos e com elevado contraste, uma vez que estas características são menos afetadas por alterações na iluminação ou pequenas mudanças no ponto de vista. Como resultado, a SIFT tende a ser mais fiável do que métodos simples de deteção de arestas ou cantos, que frequentemente falham quando as condições mudam.

Fig. 1. Pontos-chave SIFT extraídos de (a) uma imagem chuvosa e (b) da sua imagem de entrada limpa correspondente. (Fonte)

Considera uma pintura numa galeria. Esta pode continuar a ser reconhecida quer seja fotografada sob luz natural suave, sob focos artificiais intensos ou até com um ligeiro desfoque de movimento causado por uma câmara portátil. Os pontos-chave permanecem suficientemente estáveis para permitir uma correspondência precisa apesar destas diferenças.

Como funciona o algoritmo da Transformada de Características Invariante à Escala (SIFT)#

De seguida, vamos analisar como funciona o algoritmo SIFT. Este processo pode ser dividido em quatro etapas principais: deteção de pontos-chave, localização de pontos-chave, atribuição de orientação e descrição de pontos-chave.

Etapa 1: Deteção de extremos no espaço de escala#

O primeiro passo consiste em encontrar e detetar pontos-chave, que são zonas distintas da imagem, como cantos ou alterações acentuadas na textura, que ajudam a acompanhar ou reconhecer um objeto.

Para garantir que estes potenciais pontos-chave podem ser reconhecidos em qualquer tamanho, a SIFT constrói o chamado espaço de escala. Trata-se de uma coleção de imagens criada através da aplicação gradual de desfoque à imagem original com um filtro Gaussiano, uma técnica de suavização, e do agrupamento dos resultados em camadas chamadas oitavas. Cada oitava contém a mesma imagem com níveis crescentes de desfoque, enquanto a oitava seguinte é uma versão mais pequena da imagem.

Ao subtrair uma imagem desfocada de outra, a SIFT calcula a Diferença de Gaussianas (DoG), que realça as áreas onde o brilho muda acentuadamente. Estas áreas são escolhidas como pontos-chave candidatos porque permanecem consistentes quando a imagem é ampliada ou reduzida.

Fig. 2. A DoG realça estruturas importantes através da subtração de imagens desfocadas em diferentes níveis. (Fonte)

Etapa 2: Localização de pontos-chave#

Nem todos os pontos-chave candidatos são úteis, pois alguns podem ser fracos ou instáveis. Para os aperfeiçoar, a SIFT utiliza um método matemático chamado Expansão em Série de Taylor, que ajuda a estimar a posição exata de um ponto-chave com maior precisão.

Durante esta etapa, os pontos não fiáveis são removidos. Os pontos-chave com baixo contraste, que se confundem com o ambiente envolvente, são descartados, tal como os que se encontram diretamente sobre arestas, uma vez que podem deslocar-se demasiado facilmente. Esta filtragem deixa apenas os pontos-chave mais estáveis e distintos.

Etapa 3: Atribuição de orientação#

Depois de identificados os pontos-chave estáveis, a SIFT torna-os invariantes à rotação, o que significa que ainda podem ser correspondidos mesmo que a imagem seja virada de lado ou de cabeça para baixo. Para isso, a SIFT analisa a forma como o brilho muda em redor de cada ponto-chave, o que é conhecido como gradiente. Os gradientes mostram tanto a direção como a intensidade da alteração na intensidade dos píxeis e, em conjunto, captam a estrutura local em redor do ponto.

Para cada ponto-chave, a SIFT considera os gradientes numa região envolvente e agrupa-os num histograma de orientações. O pico mais alto deste histograma indica a direção dominante da alteração da intensidade, que é então atribuída como orientação do ponto-chave. Tanto as direções dos gradientes, que mostram onde a intensidade está a mudar, como as magnitudes dos gradientes, que indicam a intensidade dessa alteração, são utilizadas para construir este histograma.

Se existirem outros picos quase tão fortes, a SIFT atribui várias orientações ao mesmo ponto-chave. Isto impede que características importantes se percam quando os objetos aparecem em ângulos invulgares. Ao alinhar cada ponto-chave com a sua orientação, a SIFT garante que os descritores gerados na etapa seguinte permanecem consistentes.

Por outras palavras, mesmo que duas imagens do mesmo objeto estejam rodadas de formas diferentes, os pontos-chave alinhados pela orientação continuarão a corresponder corretamente. É esta etapa que confere à SIFT a sua forte capacidade de lidar com rotações e a torna muito mais robusta do que os métodos anteriores de deteção de características.

Fig. 3. Um olhar mais atento à etapa 3 do algoritmo SIFT (Fonte)

Etapa 4: Descritor de pontos-chave#

A última etapa da SIFT consiste em criar uma descrição de cada ponto-chave para que este possa ser reconhecido noutras imagens.

A SIFT consegue fazê-lo analisando uma pequena área quadrada em redor de cada ponto-chave, com cerca de 16 por 16 píxeis. Esta área é primeiro alinhada com a orientação do ponto-chave para que a rotação não a afete. Em seguida, a área é dividida numa grelha de quadrados mais pequenos, com 4 por 4.

Em cada quadrado pequeno, a SIFT mede como o brilho muda em diferentes direções. Estas alterações são armazenadas num elemento chamado histograma, semelhante a um gráfico que mostra quais as direções mais comuns. Cada quadrado recebe o seu próprio histograma e, em conjunto, os 16 quadrados produzem 16 histogramas.

Por fim, estes histogramas são combinados numa única lista de números, 128 no total. Esta lista chama-se vetor de características e funciona como uma impressão digital do ponto-chave. Como capta a textura e a estrutura únicas em redor do ponto, esta impressão digital permite fazer a correspondência entre o mesmo ponto-chave em diferentes imagens, mesmo que estas sejam redimensionadas, rodadas ou iluminadas de forma diferente.

Fig. 4. Uma visão geral de como funciona a SIFT (Fonte)

Principais aplicações da SIFT em visão computacional#

Agora que compreendemos melhor o que é a SIFT e como funciona, vamos explorar algumas das suas aplicações reais em visão computacional.

Reconhecimento e deteção de objetos#

Uma das principais utilizações da SIFT é o reconhecimento e a deteção de objetos. Isto envolve ensinar um computador a reconhecer e localizar objetos em imagens, mesmo quando estes nem sempre têm o mesmo aspeto. Por exemplo, a SIFT consegue detetar um livro quer esteja perto da câmara, mais afastado ou rodado num determinado ângulo.

Isto funciona porque a SIFT extrai pontos-chave altamente distintos e estáveis. Quando estes pontos-chave são associados a descritores SIFT, formam características SIFT, que proporcionam uma forma fiável de fazer a correspondência entre o mesmo objeto em diferentes imagens. Estas características captam detalhes únicos do objeto que permanecem consistentes, permitindo uma correspondência fiável de características entre imagens mesmo quando o tamanho, a posição ou a orientação do objeto mudam.

Fig. 5. Utilização da SIFT para reconhecer uma capa de livro numa nova imagem captada com uma orientação diferente da original. Imagem do autor.

Antes de a aprendizagem profunda se tornar popular, a SIFT era um dos métodos mais fiáveis para criar sistemas de reconhecimento de objetos. Era amplamente utilizada em investigação e em aplicações que exigiam a correspondência de objetos em grandes conjuntos de dados de imagens, embora frequentemente exigisse recursos computacionais significativos.

Costura de imagens e criação de panoramas#

A SIFT também pode ser utilizada para criar imagens panorâmicas, que são fotografias amplas produzidas através da combinação de várias imagens. Com a SIFT, são encontrados pontos-chave distintos nas partes sobrepostas de diferentes imagens e estes são depois correspondidos entre si. Estas correspondências funcionam como âncoras, orientando o processo de costura sobre a forma como as fotografias devem ser alinhadas.

Depois de concluída a correspondência, podem ser utilizados algoritmos de costura para calcular o alinhamento correto, frequentemente recorrendo a transformações geométricas que mapeiam uma imagem sobre outra. As imagens são então misturadas para que as junções desapareçam. O resultado final é um panorama contínuo que parece uma única fotografia ampla, embora tenha sido criado a partir de várias capturas.

Reconstrução 3D e robótica#

Outra aplicação interessante da SIFT é a reconstrução 3D, na qual várias fotografias 2D tiradas de diferentes ângulos são combinadas para criar um modelo tridimensional. A SIFT funciona encontrando e fazendo a correspondência entre os mesmos pontos nessas imagens.

Depois de feitas as correspondências, as posições 3D desses pontos podem ser estimadas através de triangulação, um método que calcula a profundidade a partir de diferentes pontos de vista. Este processo faz parte da estrutura a partir do movimento (SfM), uma técnica que utiliza várias imagens sobrepostas para estimar a forma 3D de uma cena, juntamente com as posições das câmaras que captaram as fotografias.

O resultado é normalmente uma nuvem de pontos 3D, uma coleção de pontos no espaço que delineia o objeto ou ambiente. A SIFT foi uma das primeiras ferramentas a tornar prática a estrutura a partir do movimento. Embora as técnicas mais recentes sejam atualmente mais rápidas e comuns, a SIFT continua a ser aplicada quando a precisão é mais importante do que a velocidade.

A SIFT também foi utilizada em robótica, particularmente em SLAM visual (localização e mapeamento simultâneos). O SLAM permite que um robô descubra onde está enquanto constrói simultaneamente um mapa do ambiente à sua volta.

Os pontos-chave SIFT funcionam como pontos de referência fiáveis que um robô consegue reconhecer entre fotogramas, mesmo quando a iluminação ou os ângulos mudam. Ao acompanhar estes pontos de referência, o robô pode estimar a sua posição e atualizar o mapa em tempo real. Embora atualmente sejam utilizados com maior frequência detetores de características mais rápidos na robótica, a SIFT desempenhou um papel importante nos primeiros sistemas SLAM e continua a ser essencial nos casos em que a robustez é mais importante do que a velocidade.

Vantagens e considerações sobre a SIFT#

Embora o algoritmo SIFT tenha sido amplamente utilizado em visão computacional e seja conhecido por ser um método fiável, também envolve alguns compromissos. Por isso, é importante ponderar as suas vantagens e desvantagens antes de decidir se é adequado para um projeto. De seguida, vamos analisar os seus principais pontos fortes e limitações.

Principais vantagens da SIFT#

Eis algumas das vantagens de utilizar o algoritmo SIFT:

• Invariância à escala e à rotação: A SIFT fornece pontos-chave invariantes à escala que permanecem relativamente estáveis quando os objetos aparecem com diferentes tamanhos ou orientações, o que representa um avanço significativo em comparação com os detetores de características anteriores.
• Robustez moderada a alterações de iluminação e ponto de vista: A SIFT consegue lidar com alterações de brilho, contraste ou pequenas mudanças no ponto de vista, embora seja menos fiável em condições mais extremas.
• Capacidade de funcionar em cenas desorganizadas ou parcialmente ocultas: Como a SIFT deteta muitos pontos-chave locais, consegue frequentemente identificar um objeto mesmo que parte dele esteja coberta ou o fundo seja complexo.

Considerações de desempenho e alternativas#

Eis algumas das desvantagens de utilizar o algoritmo SIFT:

• Custo computacional elevado: O processo de várias etapas e os descritores detalhados da SIFT tornam-na mais lenta e exigente em recursos do que os detetores de características modernos. Para melhorar este aspeto, os investigadores desenvolveram o algoritmo de Características Robustas Aceleradas (SURF), que utiliza cálculos mais rápidos para encontrar e descrever características. A SURF é menos precisa do que a SIFT em alguns casos, mas funciona muito mais rapidamente, tornando-a mais prática para tarefas sensíveis ao tempo.
• Não é ideal para utilização em tempo real: Devido ao seu custo computacional, a SIFT tem dificuldades em aplicações nas quais a velocidade é essencial, como o rastreio em tempo real ou a robótica móvel.
• Versatilidade limitada: Embora seja robusta em muitos casos, a SIFT é menos eficaz perante alterações extremas de iluminação, grandes mudanças no ponto de vista ou cenas altamente dinâmicas, nas quais algoritmos mais recentes ou métodos de aprendizagem automática têm um desempenho superior.

Ao explorares as vantagens e desvantagens da SIFT, poderás notar que muitas das suas limitações abriram caminho a técnicas mais avançadas. Especificamente, as redes neuronais convolucionais (CNNs) surgiram como uma alternativa poderosa.

Uma CNN é um tipo de modelo de aprendizagem profunda inspirado no funcionamento do sistema visual humano. Processa uma imagem em camadas, começando por padrões simples, como arestas e texturas, e avançando gradualmente para formas e objetos mais complexos. Ao contrário das regras de características concebidas manualmente da SIFT, as CNNs aprendem representações de características diretamente a partir dos dados.

Esta aprendizagem orientada por dados significa que as CNNs podem superar a SIFT em tarefas de correspondência de descritores e classificação. As CNNs também são mais expressivas e robustas, adaptando-se melhor à variabilidade e à complexidade dos dados visuais.

Por exemplo, os modelos baseados em CNN alcançaram resultados revolucionários no ImageNet, um enorme conjunto de dados de referência que contém milhões de imagens anotadas distribuídas por milhares de categorias. Concebido para testar a capacidade dos algoritmos de reconhecer e classificar objetos, o ImageNet consegue evidenciar a diferença entre os métodos mais antigos baseados em características e a aprendizagem profunda.

As CNNs ultrapassaram rapidamente a SIFT ao aprenderem representações muito mais ricas e flexíveis, permitindo-lhes reconhecer objetos sob diferentes condições de iluminação, a partir de diferentes pontos de vista e até quando estão parcialmente ocultos — cenários em que a SIFT frequentemente tem dificuldades.

Principais conclusões#

O algoritmo da Transformada de Características Invariante à Escala ocupa um lugar importante na história da visão computacional. Forneceu uma forma fiável de detetar características mesmo em ambientes variáveis e influenciou muitos dos métodos utilizados atualmente.

Embora as técnicas mais recentes sejam mais rápidas e eficientes, a SIFT lançou as bases para o seu desenvolvimento. A SIFT mostra onde começou o progresso atual da visão computacional e evidencia o enorme avanço alcançado pelos sistemas de IA de vanguarda.

Junta-te à nossa comunidade global e consulta o nosso repositório do GitHub para saberes mais sobre visão computacional. Explora as nossas páginas de soluções para descobrires inovações como a IA na agricultura e a visão computacional no retalho. Consulta as nossas opções de licenciamento e começa a criar o teu próprio modelo de visão computacional.