Aprendizado autossupervisionado para remoção de ruído: Uma análise passo a passo

As câmeras nem sempre capturam o mundo da maneira que o vemos. Um retrato tirado com pouca luz ou uma foto de um carro em alta velocidade pode parecer granulado, desfocado ou distorcido.

Sensores lentos, ambientes escuros e movimento podem introduzir pequenos pontos de ruído que suavizam as bordas e ocultam detalhes importantes. Quando essa clareza é perdida, até sistemas avançados de IA e aprendizado de máquina podem ter dificuldade em entender o que uma imagem contém, pois muitos sistemas inteligentes dependem desses detalhes precisos para funcionarem bem.

Por exemplo, a computer vision é um ramo da inteligência artificial que permite às máquinas interpretar imagens e vídeos. Mas, para fazer isso com precisão, os modelos de visão de IA precisam de dados visuais limpos e de alta qualidade para aprender.

Especificamente, modelos como o Ultralytics YOLO11 e o próximo Ultralytics YOLO26 suportam tarefas como deteção de objetos, segmentação de instâncias e estimativa de pose, e podem ser treinados à medida para diferentes casos de uso. Estas tarefas dependem de pistas visuais claras, como contornos, texturas, cores e detalhes estruturais finos.

Quando o ruído obscurece esses recursos, o modelo recebe sinais de treinamento mais fracos, dificultando o aprendizado de padrões precisos. Como resultado, mesmo pequenas quantidades de ruído podem reduzir o desempenho em aplicações reais.

Anteriormente, vimos como o self-supervised learning denoises images. Neste artigo, vamos aprofundar o funcionamento das técnicas de remoção de ruído auto-supervisionada e como estas ajudam a recuperar informação visual significativa. Vamos começar!

Tipos comuns de ruído em imagens do mundo real#

Antes de explorarmos como o aprendizado autossupervisionado é usado na redução de ruído de imagens, vamos primeiro revisar por que as imagens se tornam ruidosas em primeiro lugar.

Imagens de objetos e cenas do mundo real raramente são perfeitas. Iluminação baixa, qualidade limitada do sensor e movimento rápido podem introduzir distúrbios aleatórios em pixels individuais por toda a imagem. Essas interrupções em nível de pixel, conhecidas como ruído, reduzem a clareza geral e tornam detalhes importantes mais difíceis de ver.

Quando o ruído esconde bordas, texturas e padrões sutis, os sistemas de visão computacional têm dificuldade em reconhecer objetos ou interpretar cenas com precisão. Condições diferentes produzem tipos diferentes de ruído, cada um afetando a imagem à sua própria maneira.

Fig 1. Um exemplo de como o ruído pode causar um aumento da incerteza numa imagem. (Source)

Aqui estão alguns dos tipos mais comuns de ruído encontrados em imagens:

• Ruído gaussiano: Este tipo de ruído aparece como um grão suave e aleatório causado por interferência do sensor eletrônico ou flutuações térmicas. Ele segue uma distribuição gaussiana (normal), onde pequenas variações de pixel desfocam detalhes finos e reduzem a nitidez geral.
• Ruído de Poisson: Também chamado de ruído de disparo (shot noise), este tipo de ruído ocorre em condições de pouca luz ou com tempos de exposição curtos. Sua variância aumenta com o brilho, mas o ruído geralmente é mais perceptível em regiões mais escuras porque menos fótons são capturados, resultando em uma relação sinal-ruído menor.
• Ruído sal-e-pimenta: Este tipo de ruído aparece como picos de pixels pretos ou brancos nítidos. Normalmente é causado por erros de transmissão, corrupção de bits ou sensores de câmera com defeito, e geralmente resulta em valores de pixel ausentes ou corrompidos.
• Ruído de speckle: Este tipo de ruído aparece como padrões granulares, semelhantes a pontos, e é comum em imagens médicas, de radar e de ultrassom. É causado por interferência e espalhamento de sinal, o que reduz o contraste e torna as bordas mais difíceis de detectar.

Quando você deve usar a redução de ruído autossupervisionada?#

Então, o que torna a redução de ruído autossupervisionada especial? Ela se destaca em situações onde imagens limpas e reais (ground-truth) simplesmente não existem ou são muito difíceis de capturar.

Isto acontece frequentemente em fotografia com pouca luz, imagem de alto ISO, medical and scientific imaging ou em qualquer ambiente onde o ruído seja inevitável e a recolha de dados de referência perfeitos seja irrealista. Em vez de precisar de exemplos limpos, o modelo aprende diretamente a partir das imagens com ruído que já tens, tornando-se adaptável aos padrões de ruído específicos da tua câmara ou sensor.

A redução de ruído autossupervisionada também é uma ótima opção quando você deseja aumentar o desempenho de tarefas de visão computacional posteriores, mas seu conjunto de dados está cheio de imagens inconsistentes ou ruidosas. Ao recuperar bordas, texturas e estruturas mais claras, esses métodos ajudam modelos como o YOLO a detectar, segmentar e entender cenas de forma mais confiável. Em suma, se você estiver trabalhando com dados ruidosos e imagens de treinamento limpas não estiverem disponíveis, a redução de ruído autossupervisionada geralmente oferece a solução mais prática e eficaz.

As técnicas principais que impulsionam a redução de ruído autossupervisionada#

Como já vimos anteriormente, a remoção de ruído auto-supervisionada é uma abordagem de IA baseada em aprendizagem profunda que permite aos modelos aprender diretamente a partir de imagens com ruído, sem depender de rótulos limpos. Baseia-se nos princípios do self-supervised learning, em que os modelos geram os seus próprios sinais de treino a partir dos próprios dados.

Em outras palavras, um modelo pode se autoensinar usando imagens ruidosas tanto como entrada quanto como fonte de seu sinal de aprendizado. Ao comparar diferentes versões corrompidas da mesma imagem ou prever pixels mascarados, o modelo aprende quais padrões representam a estrutura real e quais são apenas ruído. Por meio de otimização iterativa e reconhecimento de padrões, a rede melhora gradualmente sua capacidade de distinguir o conteúdo significativo da imagem de variações aleatórias.

Fig 2. Uma imagem em bruto e uma imagem sem ruído. (Source)

Isso é possível por meio de estratégias de aprendizado específicas que guiam o modelo a separar a estrutura estável da imagem do ruído aleatório. A seguir, vamos examinar mais de perto as técnicas e algoritmos principais que simplificam esse processo e como cada abordagem ajuda os modelos a reconstruir imagens mais limpas e confiáveis.

Métodos de redução de ruído de imagem em pares#

Muitos dos primeiros métodos de aprendizado autossupervisionado para redução de ruído funcionavam comparando duas versões ruidosas da mesma imagem. Como o ruído muda aleatoriamente cada vez que uma imagem é capturada ou corrompida, mas a estrutura real permanece a mesma, essas diferenças podem ser usadas como um sinal de aprendizado para um modelo.

Essas abordagens são comumente chamadas de métodos de redução de ruído em pares porque dependem do uso ou da geração de pares de imagens ruidosas durante o treinamento. Por exemplo, a abordagem Noise2Noise (proposta por Jaakko Lehtinen e sua equipe) treina um modelo usando duas imagens independentemente ruidosas da mesma cena. Dado que os padrões de ruído diferem entre as duas versões, o modelo aprende a identificar os detalhes consistentes que representam a imagem subjacente real.

Fig 3. Como funciona o Noise2Noise (Source)

Com o tempo, isso ensina a rede a suprimir o ruído aleatório e preservar a estrutura real, mesmo que ela nunca veja uma imagem de referência limpa. Considere um cenário simples onde você tira duas fotos de uma rua pouco iluminada à noite.

Cada imagem contém os mesmos edifícios, luzes e sombras, mas o ruído granulado aparece em lugares diferentes. Ao comparar essas duas fotos ruidosas durante o treinamento, um modelo autossupervisionado pode aprender quais padrões visuais são estáveis e quais são causados pelo ruído, melhorando, em última análise, sua capacidade de reconstruir imagens mais limpas.

Métodos de aprendizado autossupervisionado baseados em pontos cegos para redução de ruído#

Enquanto os métodos em pares dependem da comparação de duas versões diferentemente corrompidas da mesma imagem, os métodos de ponto cego adotam uma abordagem diferente. Eles permitem que um modelo aprenda a partir de uma única imagem ruidosa ocultando pixels selecionados para que a rede não possa ver seus valores corrompidos.

O modelo deve então prever os pixels ocultos usando apenas o contexto ao redor. A ideia central é que o ruído é aleatório, mas a estrutura subjacente de uma imagem não é.

Ao impedir que o modelo copie o valor ruidoso de um pixel, os métodos de ponto cego o incentivam a inferir o que esse pixel deveria ser com base em padrões de imagem estáveis, como bordas próximas, texturas ou gradientes de cor. Técnicas como Noise2Void (introduzida por Alexander Krull e sua equipe) e Noise2Self (desenvolvida por Joshua Batson e Loïc Royer) implementam esse princípio mascarando pixels individuais ou pequenas vizinhanças e treinando o modelo para reconstruí-los.

Abordagens mais avançadas, incluindo o Noise2Same e o PN2V, melhoram a robustez ao impor previsões consistentes em várias versões com máscara ou ao modelar explicitamente a distribuição do ruído para estimar a incerteza. Como estes métodos requerem apenas uma única imagem com ruído, são especialmente úteis em domínios onde a captura de imagens limpas ou emparelhadas é impraticável ou impossível, tais como microscopy, astronomia, imagem biomédica ou fotografia com pouca luz.

Métodos de redução de ruído suportados por Transformer#

A maioria dos métodos de redução de ruído autossupervisionada em pares e baseados em pontos cegos depende de redes neurais convolucionais (CNNs) ou redes de redução de ruído. As CNNs são uma ótima opção para essas abordagens porque focam em padrões locais, nomeadamente bordas, texturas e pequenos detalhes.

Architectures like U-Net são amplamente utilizadas, uma vez que combinam caraterísticas de grão fino com informação multiescala. No entanto, as CNNs operam principalmente em vizinhanças limitadas, o que significa que podem perder relações importantes que abrangem regiões maiores de uma imagem.

Métodos de redução de ruído de última geração suportados por Transformer foram introduzidos para resolver essa limitação. Em vez de apenas olhar para pixels próximos, o método proposto usa mecanismos de atenção para entender como diferentes partes de uma imagem se relacionam entre si.

Alguns modelos usam atenção global completa, enquanto outros usam atenção baseada em janelas ou hierárquica para reduzir a computação, mas, em geral, eles são projetados para capturar estruturas de longo alcance que as CNNs por si sós não conseguem. Essa visão mais ampla ajuda o modelo a restaurar texturas repetidas, superfícies lisas ou objetos grandes que exigem informações de toda a imagem.

Outros métodos de redução de ruído de imagem#

Além das técnicas autossupervisionadas, existem também várias outras maneiras de limpar imagens ruidosas. Métodos tradicionais, como filtragem bilateral, redução de ruído por wavelets e médias não locais, usam regras matemáticas simples para suavizar o ruído enquanto tentam manter detalhes importantes.

Enquanto isso, também existem abordagens de aprendizado profundo, incluindo modelos supervisionados que aprendem com pares de imagens limpas e ruidosas e redes adversárias generativas (GANs) que geram resultados mais nítidos e realistas. No entanto, esses métodos geralmente exigem melhor qualidade de imagem para o treinamento.

Uma análise passo a passo de como funciona a redução de ruído de imagem autossupervisionada#

Como acabamos de percorrer várias técnicas diferentes, você pode estar se perguntando se cada uma funciona de uma maneira completamente diferente, visto que usam suas próprias arquiteturas. No entanto, todas elas seguem um pipeline semelhante que começa com a preparação de dados e termina com a avaliação do modelo.

A seguir, vamos analisar mais de perto como o processo geral de redução de ruído de imagem autossupervisionada funciona passo a passo.

Passo 1: Pré-processamento e normalização#

Antes que o modelo possa começar a aprender com imagens ruidosas, o primeiro passo é garantir que todas as imagens pareçam consistentes. Fotos reais podem variar muito.

Algumas imagens podem estar muito claras, outras muito escuras, e algumas podem ter cores ligeiramente alteradas. Se alimentarmos essas variações diretamente em um modelo, torna-se mais difícil para ele focar em aprender a aparência do ruído.

Para lidar com isto, cada imagem passa por normalization e pré-processamento básico. Isto pode incluir o dimensionamento de valores de píxeis para um intervalo padrão, a correção de variações de intensidade ou o recorte e redimensionamento. O essencial é que o modelo receba dados limpos que possam ser utilizados como entradas estáveis e comparáveis.

Passo 2: Criando um sinal de treinamento autossupervisionado#

Uma vez que as imagens foram normalizadas, o próximo passo é criar um sinal de treinamento que permita ao modelo aprender sem nunca ver uma imagem limpa. Os métodos de redução de ruído autossupervisionada fazem isso garantindo que o modelo não possa simplesmente copiar os valores ruidosos dos pixels que recebe.

Em vez disso, eles criam situações em que o modelo deve confiar no contexto ao redor da imagem, que contém uma estrutura estável, em vez do ruído imprevisível. Métodos diferentes conseguem isso de maneiras ligeiramente diferentes, mas a ideia central é a mesma.

Algumas abordagens ocultam ou mascaram temporariamente certos pixels para que o modelo tenha que inferi-los a partir de seus vizinhos, enquanto outras geram uma versão corrompida separadamente da mesma imagem ruidosa para que a entrada e o alvo contenham ruído independente. Em ambos os casos, a imagem alvo carrega informações estruturais significativas, mas impede que a rede acesse o valor ruidoso original do pixel que deve prever.

Como o ruído muda aleatoriamente enquanto a imagem subjacente permanece consistente, essa configuração naturalmente incentiva o modelo a aprender como é a estrutura verdadeira e ignorar o ruído que varia de uma versão para outra.

Passo 3: Aprendendo a redução de ruído para recuperar a estrutura da imagem#

Com o sinal de treinamento no lugar, o modelo pode começar a aprender como separar a estrutura significativa da imagem do ruído por meio do treinamento do modelo. Cada vez que ele prevê um pixel mascarado ou recorrompido, ele deve confiar no contexto ao redor em vez do valor ruidoso que ocupava originalmente aquele local.

Ao longo de muitas iterações ou épocas, isso ensina a rede a reconhecer os tipos de padrões que permanecem estáveis em uma imagem, como bordas, texturas e superfícies lisas. Ele também aprende a ignorar as flutuações aleatórias que caracterizam o ruído.

Por exemplo, considere uma foto com pouca luz onde uma superfície parece extremamente granulada. Embora o ruído varie de pixel para pixel, a superfície subjacente ainda é lisa. Ao inferir repetidamente os pixels ocultos nessas regiões, o modelo gradualmente se torna melhor em identificar o padrão estável abaixo do ruído e reconstruí-lo de forma mais limpa.

Por meio do processo de treinamento do modelo, a rede aprende uma representação interna da estrutura da imagem. Isso permite que o modelo recupere detalhes coerentes mesmo quando a entrada está fortemente corrompida.

Passo 4: Validação e resultados da redução de ruído#

Depois que o modelo aprendeu a prever pixels ocultos ou recorrompidos, o passo final é avaliar o quão bem ele funciona em imagens completas. Durante o teste, o modelo recebe uma imagem ruidosa inteira e produz uma versão completa com ruído reduzido com base no que aprendeu sobre a estrutura da imagem. Para medir a eficácia desse processo, a saída é comparada com imagens de referência limpas ou conjuntos de dados de benchmark padrão.

Duas métricas comumente usadas são PSNR (Peak Signal-to-Noise Ratio), que mede o quão próxima a reconstrução está da verdade básica limpa, e SSIM (Structural Similarity Index), que avalia o quão bem recursos importantes, como bordas e texturas, são preservados. Pontuações mais altas geralmente indicam uma redução de ruído mais precisa e visualmente confiável.

Conjuntos de dados de imagem usados para treinamento e benchmarking#

A pesquisa de redução de ruído autossupervisionada, aparecendo em periódicos do IEEE e conferências do CVF, entre outros, CVPR, ICCV e ECCV, bem como amplamente distribuída no arXiv, muitas vezes se baseia em uma mistura de conjuntos de dados sintéticos e do mundo real para avaliar o desempenho do modelo de métodos de aprendizado profundo sob condições controladas e práticas. Por um lado, os conjuntos de dados sintéticos começam com imagens limpas e adicionam ruído artificial, tornando fácil comparar métodos usando métricas como PSNR e SSIM.

Aqui estão alguns conjuntos de dados populares comumente usados com ruído sintético adicionado para benchmarking:

• Kodak24: Este conjunto de dados fornece fotografias de cenas naturais de alta qualidade, comumente utilizadas para comparar visualmente os resultados de remoção de ruído.
• DIV2K: Este conjunto de dados de alta resolução contém imagens diversas e detalhadas utilizadas para avaliar a fidelidade das texturas e a qualidade geral da restauração.

Os conjuntos de dados ruidosos do mundo real, por outro lado, contêm imagens capturadas diretamente de sensores de câmera com pouca luz, ISO alto ou outras condições desafiadoras. Esses conjuntos de dados testam se um modelo pode lidar com ruído complexo não gaussiano que não pode ser facilmente simulado.

Aqui estão alguns conjuntos de dados ruidosos populares do mundo real:

• SIDD: Este conjunto de dados fornece pares de imagens reais com e sem ruído, capturadas com sensores de smartphones numa variedade de ambientes de iluminação.
• DND: Inclui fotografias de alto ISO que capturam padrões realistas de ruído de sensores encontrados em câmaras de consumo.

Fig 4. Um exemplo do conjunto de dados DND. (Source)

Fatores a considerar ao treinar um modelo de redução de ruído autossupervisionado#

Aqui estão alguns fatores e limitações a considerar se você for treinar um modelo de redução de ruído autossupervisionado baseado em aprendizado profundo:

• Combine a distribuição de ruído: As imagens ruidosas usadas para o treinamento devem refletir o mesmo ruído que o modelo encontrará no uso real; ruído incompatível leva a uma generalização ruim.
• Garanta a diversidade de dados de treinamento: Variação limitada pode causar overfitting ou suavização excessiva em texturas complexas.
• Esteja ciente das limitações do tipo de ruído: Os métodos autossupervisionados têm mais dificuldade com ruído estruturado, correlacionado ou não aleatório.
• Teste em dispositivos ou sensores: O desempenho da redução de ruído pode variar muito entre câmeras ou sistemas de imagem.

Principais pontos#

A redução de ruído autossupervisionada oferece aos entusiastas de IA uma maneira prática de limpar imagens usando apenas os dados ruidosos que já temos. Ao aprender a reconhecer a estrutura real sob o ruído, esses métodos podem recuperar detalhes visuais importantes. À medida que a tecnologia de redução de ruído continua a melhorar, é provável que ela torne uma ampla gama de tarefas de visão computacional mais confiável em ambientes cotidianos.

Torna-te parte da nossa crescente community! Mergulha no nosso GitHub repository para saberes mais sobre IA. Se pretendes criar soluções de visão computacional, consulta as nossas licensing options. Explora os benefícios da computer vision in retail e vê como a AI in manufacturing está a fazer a diferença!