Aprendizado autossupervisionado para remoção de ruído: Uma análise passo a passo

As câmeras nem sempre capturam o mundo da maneira que o vemos. Um retrato tirado com pouca luz ou uma foto de um carro em alta velocidade pode parecer granulado, desfocado ou distorcido.

Sensores lentos, ambientes escuros e movimento podem introduzir pequenos pontos de ruído que suavizam as bordas e ocultam detalhes importantes. Quando essa clareza é perdida, até sistemas avançados de IA e aprendizado de máquina podem ter dificuldade em entender o que uma imagem contém, pois muitos sistemas inteligentes dependem desses detalhes precisos para funcionarem bem.

Por exemplo, visão computacional é um ramo da inteligência artificial que permite que máquinas interpretem imagens e vídeos. Mas, para fazer isso com precisão, os modelos de IA de visão precisam de dados visuais limpos e de alta qualidade para aprender.

Especificamente, modelos como Ultralytics YOLO11 e o futuro Ultralytics YOLO26 suportam tarefas como detecção de objetos, segmentação de instâncias e estimativa de pose, e podem ser treinados de forma personalizada para diferentes casos de uso. Essas tarefas dependem de pistas visuais claras, como bordas, texturas, cores e detalhes estruturais finos.

Quando o ruído obscurece esses recursos, o modelo recebe sinais de treinamento mais fracos, dificultando o aprendizado de padrões precisos. Como resultado, mesmo pequenas quantidades de ruído podem reduzir o desempenho em aplicações reais.

Anteriormente, analisamos como o aprendizado autossupervisionado reduz o ruído em imagens. Neste artigo, vamos nos aprofundar em como as técnicas de redução de ruído autossupervisionadas funcionam e como elas ajudam a recuperar informações visuais significativas. Vamos começar!

Link to this sectionTipos comuns de ruído em imagens do mundo real#

Antes de explorarmos como o aprendizado autossupervisionado é usado na redução de ruído de imagens, vamos primeiro revisar por que as imagens se tornam ruidosas em primeiro lugar.

Imagens de objetos e cenas do mundo real raramente são perfeitas. Iluminação baixa, qualidade limitada do sensor e movimento rápido podem introduzir distúrbios aleatórios em pixels individuais por toda a imagem. Essas interrupções em nível de pixel, conhecidas como ruído, reduzem a clareza geral e tornam detalhes importantes mais difíceis de ver.

Quando o ruído esconde bordas, texturas e padrões sutis, os sistemas de visão computacional têm dificuldade em reconhecer objetos ou interpretar cenas com precisão. Condições diferentes produzem tipos diferentes de ruído, cada um afetando a imagem à sua própria maneira.

Fig 1. Um exemplo de como o ruído pode causar maior incerteza em uma imagem. (Fonte)

Aqui estão alguns dos tipos mais comuns de ruído encontrados em imagens:

• Ruído gaussiano: Este tipo de ruído aparece como um grão suave e aleatório causado por interferência do sensor eletrônico ou flutuações térmicas. Ele segue uma distribuição gaussiana (normal), onde pequenas variações de pixel desfocam detalhes finos e reduzem a nitidez geral.
• Ruído de Poisson: Também chamado de ruído de disparo (shot noise), este tipo de ruído ocorre em condições de pouca luz ou com tempos de exposição curtos. Sua variância aumenta com o brilho, mas o ruído geralmente é mais perceptível em regiões mais escuras porque menos fótons são capturados, resultando em uma relação sinal-ruído menor.
• Ruído sal-e-pimenta: Este tipo de ruído aparece como picos de pixels pretos ou brancos nítidos. Normalmente é causado por erros de transmissão, corrupção de bits ou sensores de câmera com defeito, e geralmente resulta em valores de pixel ausentes ou corrompidos.
• Ruído de speckle: Este tipo de ruído aparece como padrões granulares, semelhantes a pontos, e é comum em imagens médicas, de radar e de ultrassom. É causado por interferência e espalhamento de sinal, o que reduz o contraste e torna as bordas mais difíceis de detectar.

Link to this sectionQuando você deve usar a redução de ruído autossupervisionada?#

Então, o que torna a redução de ruído autossupervisionada especial? Ela se destaca em situações onde imagens limpas e reais (ground-truth) simplesmente não existem ou são muito difíceis de capturar.

Isso geralmente acontece em fotografia com pouca luz, imagens de alto ISO, imagens médicas e científicas ou qualquer ambiente onde o ruído é inevitável e coletar dados de referência perfeitos não é realista. Em vez de precisar de exemplos limpos, o modelo aprende diretamente com as imagens ruidosas que você já possui, tornando-o adaptável aos padrões de ruído específicos da sua câmera ou sensor.

A redução de ruído autossupervisionada também é uma ótima opção quando você deseja aumentar o desempenho de tarefas de visão computacional posteriores, mas seu conjunto de dados está cheio de imagens inconsistentes ou ruidosas. Ao recuperar bordas, texturas e estruturas mais claras, esses métodos ajudam modelos como o YOLO a detectar, segmentar e entender cenas de forma mais confiável. Em suma, se você estiver trabalhando com dados ruidosos e imagens de treinamento limpas não estiverem disponíveis, a redução de ruído autossupervisionada geralmente oferece a solução mais prática e eficaz.

Link to this sectionAs técnicas principais que impulsionam a redução de ruído autossupervisionada#

Como vimos anteriormente, a redução de ruído autossupervisionada é uma abordagem de IA baseada em aprendizado profundo que permite aos modelos aprenderem diretamente com imagens ruidosas sem depender de rótulos limpos. Ela se baseia nos princípios do aprendizado autossupervisionado, onde os modelos geram seus próprios sinais de treinamento a partir dos próprios dados.

Em outras palavras, um modelo pode se autoensinar usando imagens ruidosas tanto como entrada quanto como fonte de seu sinal de aprendizado. Ao comparar diferentes versões corrompidas da mesma imagem ou prever pixels mascarados, o modelo aprende quais padrões representam a estrutura real e quais são apenas ruído. Por meio de otimização iterativa e reconhecimento de padrões, a rede melhora gradualmente sua capacidade de distinguir o conteúdo significativo da imagem de variações aleatórias.

Fig 2. Uma imagem bruta e uma imagem com ruído reduzido. (Fonte)

Isso é possível por meio de estratégias de aprendizado específicas que guiam o modelo a separar a estrutura estável da imagem do ruído aleatório. A seguir, vamos examinar mais de perto as técnicas e algoritmos principais que simplificam esse processo e como cada abordagem ajuda os modelos a reconstruir imagens mais limpas e confiáveis.

Link to this sectionMétodos de redução de ruído de imagem em pares#

Muitos dos primeiros métodos de aprendizado autossupervisionado para redução de ruído funcionavam comparando duas versões ruidosas da mesma imagem. Como o ruído muda aleatoriamente cada vez que uma imagem é capturada ou corrompida, mas a estrutura real permanece a mesma, essas diferenças podem ser usadas como um sinal de aprendizado para um modelo.

Essas abordagens são comumente chamadas de métodos de redução de ruído em pares porque dependem do uso ou da geração de pares de imagens ruidosas durante o treinamento. Por exemplo, a abordagem Noise2Noise (proposta por Jaakko Lehtinen e sua equipe) treina um modelo usando duas imagens independentemente ruidosas da mesma cena. Dado que os padrões de ruído diferem entre as duas versões, o modelo aprende a identificar os detalhes consistentes que representam a imagem subjacente real.

Fig 3. Como o Noise2Noise funciona (Fonte)

Com o tempo, isso ensina a rede a suprimir o ruído aleatório e preservar a estrutura real, mesmo que ela nunca veja uma imagem de referência limpa. Considere um cenário simples onde você tira duas fotos de uma rua pouco iluminada à noite.

Cada imagem contém os mesmos edifícios, luzes e sombras, mas o ruído granulado aparece em lugares diferentes. Ao comparar essas duas fotos ruidosas durante o treinamento, um modelo autossupervisionado pode aprender quais padrões visuais são estáveis e quais são causados pelo ruído, melhorando, em última análise, sua capacidade de reconstruir imagens mais limpas.

Link to this sectionMétodos de aprendizado autossupervisionado baseados em pontos cegos para redução de ruído#

Enquanto os métodos em pares dependem da comparação de duas versões diferentemente corrompidas da mesma imagem, os métodos de ponto cego adotam uma abordagem diferente. Eles permitem que um modelo aprenda a partir de uma única imagem ruidosa ocultando pixels selecionados para que a rede não possa ver seus valores corrompidos.

O modelo deve então prever os pixels ocultos usando apenas o contexto ao redor. A ideia central é que o ruído é aleatório, mas a estrutura subjacente de uma imagem não é.

Ao impedir que o modelo copie o valor ruidoso de um pixel, os métodos de ponto cego o incentivam a inferir o que esse pixel deveria ser com base em padrões de imagem estáveis, como bordas próximas, texturas ou gradientes de cor. Técnicas como Noise2Void (introduzida por Alexander Krull e sua equipe) e Noise2Self (desenvolvida por Joshua Batson e Loïc Royer) implementam esse princípio mascarando pixels individuais ou pequenas vizinhanças e treinando o modelo para reconstruí-los.

Abordagens mais avançadas, incluindo Noise2Same e PN2V, melhoram a robustez ao impor previsões consistentes em várias versões mascaradas ou ao modelar explicitamente a distribuição de ruído para estimar a incerteza. Como esses métodos requerem apenas uma única imagem ruidosa, eles são especialmente úteis em domínios onde capturar imagens limpas ou em pares é impraticável ou impossível, como microscopia, astronomia, imagens biomédicas ou fotografia com pouca luz.

Link to this sectionMétodos de redução de ruído suportados por Transformer#

A maioria dos métodos de redução de ruído autossupervisionada em pares e baseados em pontos cegos depende de redes neurais convolucionais (CNNs) ou redes de redução de ruído. As CNNs são uma ótima opção para essas abordagens porque focam em padrões locais, nomeadamente bordas, texturas e pequenos detalhes.

Arquiteturas como a U-Net são amplamente utilizadas, pois combinam recursos de granulação fina com informações em múltiplas escalas. No entanto, as CNNs operam principalmente dentro de vizinhanças limitadas, o que significa que podem perder relacionamentos importantes que abrangem regiões maiores de uma imagem.

Métodos de redução de ruído de última geração suportados por Transformer foram introduzidos para resolver essa limitação. Em vez de apenas olhar para pixels próximos, o método proposto usa mecanismos de atenção para entender como diferentes partes de uma imagem se relacionam entre si.

Alguns modelos usam atenção global completa, enquanto outros usam atenção baseada em janelas ou hierárquica para reduzir a computação, mas, em geral, eles são projetados para capturar estruturas de longo alcance que as CNNs por si sós não conseguem. Essa visão mais ampla ajuda o modelo a restaurar texturas repetidas, superfícies lisas ou objetos grandes que exigem informações de toda a imagem.

Link to this sectionOutros métodos de redução de ruído de imagem#

Além das técnicas autossupervisionadas, existem também várias outras maneiras de limpar imagens ruidosas. Métodos tradicionais, como filtragem bilateral, redução de ruído por wavelets e médias não locais, usam regras matemáticas simples para suavizar o ruído enquanto tentam manter detalhes importantes.

Enquanto isso, também existem abordagens de aprendizado profundo, incluindo modelos supervisionados que aprendem com pares de imagens limpas e ruidosas e redes adversárias generativas (GANs) que geram resultados mais nítidos e realistas. No entanto, esses métodos geralmente exigem melhor qualidade de imagem para o treinamento.

Link to this sectionUma análise passo a passo de como funciona a redução de ruído de imagem autossupervisionada#

Como acabamos de percorrer várias técnicas diferentes, você pode estar se perguntando se cada uma funciona de uma maneira completamente diferente, visto que usam suas próprias arquiteturas. No entanto, todas elas seguem um pipeline semelhante que começa com a preparação de dados e termina com a avaliação do modelo.

A seguir, vamos analisar mais de perto como o processo geral de redução de ruído de imagem autossupervisionada funciona passo a passo.

Link to this sectionPasso 1: Pré-processamento e normalização#

Antes que o modelo possa começar a aprender com imagens ruidosas, o primeiro passo é garantir que todas as imagens pareçam consistentes. Fotos reais podem variar muito.

Algumas imagens podem estar muito claras, outras muito escuras, e algumas podem ter cores ligeiramente alteradas. Se alimentarmos essas variações diretamente em um modelo, torna-se mais difícil para ele focar em aprender a aparência do ruído.

Para lidar com isso, cada imagem passa por normalização e pré-processamento básico. Isso pode incluir o dimensionamento dos valores dos pixels para uma faixa padrão, correção de variações de intensidade ou corte e redimensionamento. O segredo é que o modelo receba dados limpos que possam ser usados como entradas estáveis e comparáveis.

Link to this sectionPasso 2: Criando um sinal de treinamento autossupervisionado#

Uma vez que as imagens foram normalizadas, o próximo passo é criar um sinal de treinamento que permita ao modelo aprender sem nunca ver uma imagem limpa. Os métodos de redução de ruído autossupervisionada fazem isso garantindo que o modelo não possa simplesmente copiar os valores ruidosos dos pixels que recebe.

Em vez disso, eles criam situações em que o modelo deve confiar no contexto ao redor da imagem, que contém uma estrutura estável, em vez do ruído imprevisível. Métodos diferentes conseguem isso de maneiras ligeiramente diferentes, mas a ideia central é a mesma.

Algumas abordagens ocultam ou mascaram temporariamente certos pixels para que o modelo tenha que inferi-los a partir de seus vizinhos, enquanto outras geram uma versão corrompida separadamente da mesma imagem ruidosa para que a entrada e o alvo contenham ruído independente. Em ambos os casos, a imagem alvo carrega informações estruturais significativas, mas impede que a rede acesse o valor ruidoso original do pixel que deve prever.

Como o ruído muda aleatoriamente enquanto a imagem subjacente permanece consistente, essa configuração naturalmente incentiva o modelo a aprender como é a estrutura verdadeira e ignorar o ruído que varia de uma versão para outra.

Link to this sectionPasso 3: Aprendendo a redução de ruído para recuperar a estrutura da imagem#

Com o sinal de treinamento no lugar, o modelo pode começar a aprender como separar a estrutura significativa da imagem do ruído por meio do treinamento do modelo. Cada vez que ele prevê um pixel mascarado ou recorrompido, ele deve confiar no contexto ao redor em vez do valor ruidoso que ocupava originalmente aquele local.

Ao longo de muitas iterações ou épocas, isso ensina a rede a reconhecer os tipos de padrões que permanecem estáveis em uma imagem, como bordas, texturas e superfícies lisas. Ele também aprende a ignorar as flutuações aleatórias que caracterizam o ruído.

Por exemplo, considere uma foto com pouca luz onde uma superfície parece extremamente granulada. Embora o ruído varie de pixel para pixel, a superfície subjacente ainda é lisa. Ao inferir repetidamente os pixels ocultos nessas regiões, o modelo gradualmente se torna melhor em identificar o padrão estável abaixo do ruído e reconstruí-lo de forma mais limpa.

Por meio do processo de treinamento do modelo, a rede aprende uma representação interna da estrutura da imagem. Isso permite que o modelo recupere detalhes coerentes mesmo quando a entrada está fortemente corrompida.

Link to this sectionPasso 4: Validação e resultados da redução de ruído#

Depois que o modelo aprendeu a prever pixels ocultos ou recorrompidos, o passo final é avaliar o quão bem ele funciona em imagens completas. Durante o teste, o modelo recebe uma imagem ruidosa inteira e produz uma versão completa com ruído reduzido com base no que aprendeu sobre a estrutura da imagem. Para medir a eficácia desse processo, a saída é comparada com imagens de referência limpas ou conjuntos de dados de benchmark padrão.

Duas métricas comumente usadas são PSNR (Peak Signal-to-Noise Ratio), que mede o quão próxima a reconstrução está da verdade básica limpa, e SSIM (Structural Similarity Index), que avalia o quão bem recursos importantes, como bordas e texturas, são preservados. Pontuações mais altas geralmente indicam uma redução de ruído mais precisa e visualmente confiável.

Link to this sectionConjuntos de dados de imagem usados para treinamento e benchmarking#

A pesquisa de redução de ruído autossupervisionada, aparecendo em periódicos do IEEE e conferências do CVF, entre outros, CVPR, ICCV e ECCV, bem como amplamente distribuída no arXiv, muitas vezes se baseia em uma mistura de conjuntos de dados sintéticos e do mundo real para avaliar o desempenho do modelo de métodos de aprendizado profundo sob condições controladas e práticas. Por um lado, os conjuntos de dados sintéticos começam com imagens limpas e adicionam ruído artificial, tornando fácil comparar métodos usando métricas como PSNR e SSIM.

Aqui estão alguns conjuntos de dados populares comumente usados com ruído sintético adicionado para benchmarking:

• Kodak24: Este conjunto de dados fornece fotografias de cenas naturais de alta qualidade comumente usadas para comparar visualmente os resultados da redução de ruído.
• DIV2K: Este conjunto de dados de alta resolução contém imagens diversas e detalhadas usadas para avaliar a fidelidade da textura e a qualidade geral da restauração.

Os conjuntos de dados ruidosos do mundo real, por outro lado, contêm imagens capturadas diretamente de sensores de câmera com pouca luz, ISO alto ou outras condições desafiadoras. Esses conjuntos de dados testam se um modelo pode lidar com ruído complexo não gaussiano que não pode ser facilmente simulado.

Aqui estão alguns conjuntos de dados ruidosos populares do mundo real:

• SIDD: Este conjunto de dados fornece pares de imagens ruidosas e limpas reais capturadas com sensores de smartphones em uma variedade de ambientes de iluminação.
• DND: Ele inclui fotografias de alto ISO que capturam padrões realistas de ruído de sensor encontrados em câmeras de consumo.

Fig 4. Um exemplo do conjunto de dados DND. (Fonte)

Link to this sectionFatores a considerar ao treinar um modelo de redução de ruído autossupervisionado#

Aqui estão alguns fatores e limitações a considerar se você for treinar um modelo de redução de ruído autossupervisionado baseado em aprendizado profundo:

• Combine a distribuição de ruído: As imagens ruidosas usadas para o treinamento devem refletir o mesmo ruído que o modelo encontrará no uso real; ruído incompatível leva a uma generalização ruim.
• Garanta a diversidade de dados de treinamento: Variação limitada pode causar overfitting ou suavização excessiva em texturas complexas.
• Esteja ciente das limitações do tipo de ruído: Os métodos autossupervisionados têm mais dificuldade com ruído estruturado, correlacionado ou não aleatório.
• Teste em dispositivos ou sensores: O desempenho da redução de ruído pode variar muito entre câmeras ou sistemas de imagem.

Link to this sectionPrincipais pontos#

A redução de ruído autossupervisionada oferece aos entusiastas de IA uma maneira prática de limpar imagens usando apenas os dados ruidosos que já temos. Ao aprender a reconhecer a estrutura real sob o ruído, esses métodos podem recuperar detalhes visuais importantes. À medida que a tecnologia de redução de ruído continua a melhorar, é provável que ela torne uma ampla gama de tarefas de visão computacional mais confiável em ambientes cotidianos.

Faça parte da nossa crescente comunidade! Entre no nosso repositório GitHub para saber mais sobre IA. Se você deseja criar soluções de visão computacional, confira nossas opções de licenciamento. Explore os benefícios da visão computacional no varejo e veja como a IA na manufatura está fazendo a diferença!