O que é o Scale-Invariant Feature Transform (SIFT)?

Para uma visão geral visual dos conceitos abordados neste artigo, assista ao vídeo abaixo.

Atualmente, muitos dos dispositivos inteligentes que usamos, desde celulares e câmeras até sistemas domésticos inteligentes, vêm com soluções de IA capazes de reconhecer rostos, objetos e até cenas visuais inteiras. Essa capacidade vem da visão computacional, um campo da inteligência artificial que permite que as máquinas entendam e interpretem imagens e vídeos.

Por exemplo, se você tirar uma foto da Torre Eiffel de qualquer ângulo ou distância, seu dispositivo geralmente ainda consegue reconhecê-la usando visão computacional e organizá-la na pasta correta da sua galeria. Embora pareça simples, reconhecer objetos nem sempre é fácil. As imagens podem parecer muito diferentes dependendo de seu tamanho, ângulo, escala ou iluminação, o que torna difícil para as máquinas identificá-las consistentemente.

Para ajudar a resolver esse problema, pesquisadores desenvolveram um algoritmo de visão computacional chamado Scale Invariant Feature Transform, ou SIFT. Esse algoritmo possibilita a detecção de objetos em diferentes condições de visualização. Criado por David Lowe em 1999, o SIFT foi projetado para encontrar e descrever keypoints únicos em uma imagem, como cantos, bordas ou padrões que permanecem reconhecíveis mesmo quando a imagem é redimensionada, rotacionada ou iluminada de forma diferente.

Antes que modelos de visão computacional baseados em aprendizado profundo como o Ultralytics YOLO11 se tornassem populares, o SIFT era uma técnica amplamente utilizada em visão computacional. Era uma abordagem padrão para tarefas como reconhecimento de objetos, onde o objetivo é identificar um item específico em uma foto, e correspondência de imagens, onde as fotos são alinhadas encontrando características de imagem sobrepostas.

Neste artigo, vamos explorar o SIFT com uma visão geral rápida do que ele é, como funciona em alto nível e por que é importante na evolução da visão computacional. Vamos começar!

Link to this sectionPor que o algoritmo SIFT é essencial para a visão computacional#

Em uma imagem, um objeto pode aparecer de muitas maneiras diferentes. Por exemplo, uma caneca de café pode ser fotografada de cima, de lado, sob luz solar forte ou sob uma lâmpada quente. A mesma caneca também pode parecer maior quando está perto da câmera e menor quando está mais longe.

Todas essas diferenças tornam o ensino de reconhecimento de objetos a um computador uma tarefa complicada. Essa tarefa de visão computacional, conhecida como detecção de objetos, exige que modelos de Visão Computacional identifiquem e localizem objetos com precisão, mesmo quando seu tamanho, ângulo ou condições de iluminação mudam.

Para tornar isso possível, a visão computacional depende de um processo chamado extração de características ou detecção. Em vez de tentar entender a imagem inteira de uma só vez, um modelo procura características de imagem distintas, como cantos nítidos, padrões únicos ou texturas que permanecem reconhecíveis em diferentes ângulos, escalas e condições de iluminação.

Em particular, é isso que a Scale Invariant Feature Transform, ou SIFT, foi projetada para fazer. O SIFT é um algoritmo de detecção e descrição de características que pode identificar objetos de forma confiável em imagens, independentemente de como sejam capturadas.

Link to this sectionAlcançando a invariância de escala#

O algoritmo SIFT possui algumas propriedades importantes que o tornam útil para o reconhecimento de objetos. Uma das propriedades principais é chamada de invariância de escala. Isso significa que o SIFT pode reconhecer várias partes de um objeto, quer ele pareça grande e esteja perto da câmera, quer pequeno e longe. Mesmo que o objeto não esteja completamente visível, o algoritmo ainda pode selecionar os mesmos keypoints.

Ele faz isso usando um conceito chamado teoria de escala-espaço. Simplificando, a imagem é borrada em diferentes níveis para criar múltiplas versões. O SIFT então analisa essas versões para encontrar padrões e detalhes que permanecem os mesmos, independentemente de como a imagem muda em tamanho ou nitidez.

Por exemplo, uma placa de trânsito fotografada a poucos metros de distância parecerá muito maior do que a mesma placa capturada à distância, mas o SIFT ainda consegue detectar as mesmas características distintas. Isso torna possível combinar as duas imagens corretamente, mesmo que a placa apareça em escalas muito diferentes.

Link to this sectionGarantindo a invariância de rotação#

Objetos em imagens também podem aparecer rotacionados, às vezes até de cabeça para baixo. O SIFT lida com isso através de uma propriedade chamada invariância de rotação. Para cada keypoint que detecta, o algoritmo atribui uma orientação consistente com base nos gradientes locais da imagem. Dessa forma, o mesmo objeto pode ser reconhecido, não importa como seja rotacionado.

Você pode pensar nisso como marcar cada keypoint com uma pequena seta que mostra em qual direção ele está voltado. Ao alinhar as características a essas orientações, o SIFT garante que os keypoints correspondam corretamente mesmo quando o objeto é rotacionado. Por exemplo, um ponto turístico capturado em uma foto de paisagem ainda pode ser identificado corretamente, mesmo que outra foto dele seja tirada com a câmera inclinada em um ângulo.

Link to this sectionResiliência a outras variações de imagem#

Além do tamanho e da rotação, as imagens também podem mudar de outras formas, como mudanças de iluminação. A iluminação em um objeto pode ir de brilhante a fraca, o ângulo da câmera pode mudar ligeiramente ou a imagem pode estar borrada ou com ruído.

O SIFT é feito para lidar com esses tipos de variações. Ele faz isso focando em keypoints que são distintos e têm alto contraste, já que essas características são menos afetadas por mudanças na iluminação ou pequenas mudanças no ponto de vista. Como resultado, o SIFT tende a ser mais confiável do que métodos simples de detecção de bordas ou cantos, que muitas vezes falham quando as condições mudam.

Fig 1. Keypoints SIFT extraídos de (a) uma imagem chuvosa e (b) sua correspondente imagem de entrada limpa. (Fonte)

Considere uma pintura em uma galeria. Ela ainda pode ser reconhecida se for fotografada sob luz suave do dia, sob refletores artificiais brilhantes ou até mesmo com um leve desfoque de movimento de uma câmera portátil. Os keypoints permanecem estáveis o suficiente para uma correspondência precisa, apesar dessas diferenças.

Link to this sectionComo funciona o algoritmo Scale-Invariant Feature Transform (SIFT)#

A seguir, vamos dar uma olhada em como o algoritmo SIFT funciona. Esse processo pode ser dividido em quatro etapas principais: detecção de keypoints, localização de keypoints, atribuição de orientação e descrição de keypoints.

Link to this sectionEtapa 1: Detecção de extremos no espaço de escala#

A primeira etapa é encontrar e detectar keypoints, que são pontos distintos na imagem, como cantos ou mudanças bruscas na textura, que ajudam a rastrear ou reconhecer um objeto.

Para garantir que esses potenciais keypoints possam ser reconhecidos em qualquer tamanho, o SIFT constrói o que é chamado de espaço de escala. Esta é uma coleção de imagens criada ao borrar gradualmente a imagem original com um filtro Gaussiano, que é uma técnica de suavização, e agrupar os resultados em camadas chamadas oitavas. Cada oitava contém a mesma imagem em níveis crescentes de desfoque, enquanto a próxima oitava é uma versão menor da imagem.

Ao subtrair uma imagem borrada de outra, o SIFT calcula a Diferença de Gaussianas (DoG), que destaca áreas onde o brilho muda bruscamente. Essas áreas são escolhidas como keypoints candidatos porque permanecem consistentes quando a imagem é ampliada ou reduzida.

Fig 2. DoG destaca estruturas-chave subtraindo imagens borradas em diferentes níveis. (Fonte)

Link to this sectionEtapa 2: Localização de keypoints#

Nem todos os keypoints candidatos são úteis, pois alguns podem ser fracos ou instáveis. Para refiná-los, o SIFT usa um método matemático chamado Expansão em Série de Taylor, que ajuda a estimar a posição exata de um keypoint com maior precisão.

Durante esta etapa, pontos não confiáveis são removidos. Keypoints com baixo contraste, que se misturam ao ambiente, são descartados, assim como aqueles que ficam diretamente sobre bordas, já que podem mudar facilmente. Esta etapa de filtragem deixa apenas os keypoints mais estáveis e distintos.

Link to this sectionEtapa 3: Atribuição de orientação#

Uma vez identificados os keypoints estáveis, o SIFT os torna invariantes à rotação, o que significa que eles ainda podem ser combinados mesmo que a imagem seja virada de lado ou de cabeça para baixo. Para fazer isso, o SIFT analisa como o brilho muda ao redor de cada keypoint, o que é conhecido como gradiente. Os gradientes mostram tanto a direção quanto a força da mudança na intensidade dos pixels e, juntos, capturam a estrutura local ao redor do ponto.

Para cada keypoint, o SIFT considera os gradientes dentro de uma região circundante e os agrupa em um histograma de orientações. O pico mais alto neste histograma indica a direção dominante da mudança de intensidade, que é então atribuída como a orientação do keypoint. Tanto as direções do gradiente, que mostram onde a intensidade está mudando, quanto as magnitudes do gradiente, que indicam quão forte é essa mudança, são usadas para construir este histograma.

Se houver outros picos quase tão fortes, o SIFT atribui múltiplas orientações ao mesmo keypoint. Isso evita que características importantes sejam perdidas quando objetos aparecem em ângulos incomuns. Ao alinhar cada keypoint com sua orientação, o SIFT garante que os descritores gerados na próxima etapa permaneçam consistentes.

Em outras palavras, mesmo que duas imagens do mesmo objeto sejam rotacionadas de forma diferente, os keypoints alinhados pela orientação ainda corresponderão corretamente. Esta etapa é o que dá ao SIFT sua forte capacidade de lidar com a rotação e o torna muito mais robusto do que os métodos anteriores de detecção de características.

Fig 3. Um olhar mais atento na etapa 3 do algoritmo SIFT (Fonte)

Link to this sectionEtapa 4: Descritor de keypoint#

A última etapa no SIFT é criar uma descrição de cada keypoint para que ele possa ser reconhecido em outras imagens.

O SIFT alcança isso observando um pequeno patch quadrado ao redor de cada keypoint, com cerca de 16 por 16 pixels. Este patch é primeiro alinhado à orientação do keypoint para que a rotação não o afete. O patch é então dividido em uma grade de 4 por 4 quadrados menores.

Em cada quadrado pequeno, o SIFT mede como o brilho muda em diferentes direções. Essas mudanças são armazenadas em algo chamado histograma, que é como um gráfico mostrando quais direções são mais comuns. Cada quadrado recebe seu próprio histograma e, juntos, os 16 quadrados produzem 16 histogramas.

Finalmente, esses histogramas são combinados em uma única lista de números, 128 no total. Essa lista é chamada de vetor de características e atua como uma impressão digital para o keypoint. Como captura a textura e a estrutura únicas ao redor do ponto, essa impressão digital torna possível combinar o mesmo keypoint em diferentes imagens, mesmo que sejam redimensionadas, rotacionadas ou iluminadas de forma diferente.

Fig 4. Uma visão geral de como o SIFT funciona (Fonte)

Link to this sectionPrincipais aplicações do SIFT em visão computacional#

Agora que temos uma compreensão melhor do que é o SIFT e como ele funciona, vamos explorar algumas de suas aplicações no mundo real em visão computacional.

Link to this sectionReconhecimento e detecção de objetos#

Um dos principais usos do SIFT é no reconhecimento e detecção de objetos. Isso envolve ensinar um computador a reconhecer e localizar objetos em imagens, mesmo quando os objetos nem sempre parecem os mesmos. Por exemplo, o SIFT pode detectar um livro, independentemente de estar perto da câmera, mais longe ou rotacionado em um ângulo.

A razão pela qual isso funciona é que o SIFT extrai keypoints que são altamente distintos e estáveis. Quando esses keypoints são combinados com descritores SIFT, eles formam características SIFT, que fornecem uma maneira confiável de combinar o mesmo objeto em diferentes imagens. Essas características capturam detalhes únicos do objeto que permanecem consistentes, permitindo uma correspondência de características confiável entre imagens, mesmo quando o tamanho, a posição ou a orientação do objeto mudam.

Fig 5. Usando o SIFT para reconhecer uma capa de livro em uma nova imagem tirada em uma orientação diferente da original. Imagem do autor.

Antes que o aprendizado profundo se tornasse popular, o SIFT era um dos métodos mais confiáveis para construir sistemas de reconhecimento de objetos. Era amplamente utilizado em pesquisas e aplicações que exigiam a correspondência de objetos em grandes conjuntos de dados de imagens, embora muitas vezes exigisse recursos computacionais significativos.

Link to this sectionCostura de imagens e criação de panoramas#

O SIFT também pode ser usado para criar imagens panorâmicas, que são fotos amplas feitas unindo várias imagens. Usando o SIFT, keypoints distintos são encontrados nas partes sobrepostas de diferentes imagens e, em seguida, combinados uns com os outros. Essas correspondências agem como âncoras, guiando o processo de costura sobre como as fotos devem ser alinhadas.

Uma vez concluída a correspondência, algoritmos de costura podem ser usados para calcular o alinhamento correto, muitas vezes usando transformações geométricas que mapeiam uma imagem sobre a outra. As imagens são então misturadas para que as emendas desapareçam. O resultado final é um panorama contínuo que parece uma única foto ampla, embora tenha sido criado a partir de várias fotos.

Link to this sectionReconstrução 3D e robótica#

Outra aplicação interessante do SIFT é na reconstrução 3D, onde várias fotos 2D tiradas de diferentes ângulos são combinadas para construir um modelo tridimensional. O SIFT funciona encontrando e combinando os mesmos pontos nessas imagens.

Uma vez feitas as correspondências, as posições 3D desses pontos podem ser estimadas usando triangulação, um método que calcula a profundidade de diferentes pontos de vista. Esse processo é parte da estrutura a partir do movimento (SfM), uma técnica que usa múltiplas imagens sobrepostas para estimar a forma 3D de uma cena, juntamente com as posições das câmeras que tiraram as fotos.

O resultado geralmente é uma nuvem de pontos 3D, uma coleção de pontos no espaço que descreve o objeto ou ambiente. O SIFT foi uma das primeiras ferramentas que tornou a estrutura a partir do movimento prática. Embora técnicas mais recentes sejam mais rápidas e comuns hoje em dia, o SIFT continua sendo aplicado quando a precisão é mais importante do que a velocidade.

O SIFT também tem sido usado em robótica, particularmente em SLAM visual (Localização e Mapeamento Simultâneos). O SLAM permite que um robô descubra onde está enquanto constrói um mapa de seus arredores ao mesmo tempo.

Os keypoints SIFT agem como marcos confiáveis que um robô pode reconhecer entre quadros, mesmo quando a iluminação ou os ângulos mudam. Ao rastrear esses marcos, o robô pode estimar sua posição e atualizar seu mapa rapidamente. Embora detectores de características mais rápidos sejam usados com mais frequência na robótica hoje, o SIFT desempenhou um papel importante nos primeiros sistemas SLAM e ainda é fundamental em casos onde a robustez é mais crítica do que a velocidade.

Link to this sectionVantagens e considerações sobre o SIFT#

Embora o algoritmo SIFT tenha sido amplamente utilizado em visão computacional e seja conhecido por ser um método confiável, ele também traz algumas compensações. É por isso que é importante ponderar seus prós e contras antes de decidir se é a opção certa para um projeto. A seguir, vamos percorrer seus principais pontos fortes e limitações.

Link to this sectionVantagens principais do SIFT#

Aqui estão alguns dos prós de usar o algoritmo SIFT:

• Invariância de escala e rotação: O SIFT fornece keypoints invariantes à escala que permanecem relativamente estáveis quando objetos aparecem em tamanhos ou orientações diferentes, o que representa um passo significativo em relação aos detectores de características anteriores.
• Robustez moderada a mudanças de iluminação e ponto de vista: O SIFT consegue lidar com mudanças de brilho, contraste ou pequenas mudanças no ponto de vista, embora seja menos confiável sob condições mais extremas.
• Capacidade de funcionar em cenas confusas ou parcialmente ocultas: Como o SIFT detecta muitos keypoints locais, ele muitas vezes ainda consegue identificar um objeto, mesmo que parte dele esteja coberta ou o fundo seja complexo.

Link to this sectionConsiderações de desempenho e alternativas#

Aqui estão alguns dos contras de usar o algoritmo SIFT:

• Computacionalmente caro: O processo de múltiplas etapas e os descritores detalhados do SIFT o tornam mais lento e mais pesado em recursos do que os detectores de características modernos. Para melhorar isso, pesquisadores desenvolveram o algoritmo SURF (Speeded-Up Robust Features), que usa cálculos mais rápidos para encontrar e descrever características. O SURF é menos preciso que o SIFT em alguns casos, mas executa muito mais rápido, tornando-o mais prático para tarefas sensíveis ao tempo.
• Não é ideal para uso em tempo real: Devido ao seu custo computacional, o SIFT enfrenta dificuldades quando se trata de aplicações onde a velocidade é crítica, como rastreamento em tempo real ou robótica móvel.
• Versatilidade limitada: Embora robusto em muitos casos, o SIFT é menos eficaz em mudanças extremas de iluminação, grandes mudanças de ponto de vista ou cenas altamente dinâmicas, onde algoritmos mais novos ou métodos de aprendizado de máquina têm um desempenho melhor.

Ao explorar os prós e contras do SIFT, você pode notar que muitas de suas limitações abriram caminho para técnicas mais avançadas. Especificamente, redes neurais convolucionais (CNNs) surgiram como uma alternativa poderosa.

Uma CNN é um tipo de modelo de aprendizado profundo inspirado em como o sistema visual humano funciona. Ele processa uma imagem em camadas, começando por padrões simples como bordas e texturas, e gradualmente construindo formas e objetos mais complexos. Diferente das regras de características artesanais do SIFT, as CNNs aprendem representações de características diretamente dos dados.

Esse aprendizado orientado por dados significa que as CNNs podem superar o SIFT em tarefas de correspondência de descritores e classificação. As CNNs também são mais expressivas e robustas, adaptando-se melhor à variabilidade e complexidade dos dados visuais.

Por exemplo, modelos baseados em CNN alcançaram resultados inovadores no ImageNet, um enorme conjunto de dados de referência contendo milhões de imagens rotuladas em milhares de categorias. Projetado para testar quão bem os algoritmos podem reconhecer e classificar objetos, o ImageNet consegue destacar a lacuna entre os métodos baseados em características mais antigos e o aprendizado profundo.

As CNNs superaram rapidamente o SIFT aprendendo representações muito mais ricas e flexíveis, permitindo-lhes reconhecer objetos sob iluminação variável, de diferentes pontos de vista e até mesmo quando parcialmente ocultos, cenários onde o SIFT frequentemente enfrenta dificuldades.

Link to this sectionPrincipais pontos#

O algoritmo Scale Invariant Feature Transform detém um lugar importante na história da visão computacional. Ele forneceu uma maneira confiável de detectar características mesmo em ambientes em mudança e influenciou muitos dos métodos usados hoje.

Embora técnicas mais recentes sejam mais rápidas e eficientes, o SIFT lançou as bases para elas. O SIFT mostra onde o progresso atual na visão computacional começou e destaca o quanto os sistemas de IA de ponta avançaram.

Junte-se à nossa comunidade global e confira nosso repositório GitHub para aprender mais sobre visão computacional. Explore nossas páginas de soluções para descobrir inovações como IA na agricultura e visão computacional no varejo. Confira nossas opções de licenciamento e comece a construir seu próprio modelo de visão computacional.