Aprendizagem auto-supervisionada para redução de ruído: análise passo a passo

As câmaras nem sempre captam o mundo da forma como o vemos. Um retrato tirado com pouca luz ou uma fotografia de um carro em movimento rápido pode parecer granulada, desfocada ou distorcida.

Sensores lentos, ambientes escuros e movimento podem introduzir pequenas manchas de ruído que suavizam os contornos e ocultam detalhes importantes. Quando essa nitidez se perde, até sistemas avançados de IA e aprendizagem automática podem ter dificuldade em compreender o conteúdo de uma imagem, porque muitos sistemas inteligentes dependem desses detalhes finos para funcionar bem.

Por exemplo, a visão computacional é um ramo da inteligência artificial que permite às máquinas interpretar imagens e vídeo. No entanto, para fazer isso com precisão, os modelos de IA para visão precisam de dados visuais limpos e de alta qualidade para aprender.

Especificamente, modelos como o Ultralytics YOLO11 e o futuro Ultralytics YOLO26 suportam tarefas como deteção de objetos, segmentação de instâncias e estimativa de pose, e podem ser treinados à medida para diferentes casos de utilização. Estas tarefas dependem de pistas visuais claras, como contornos, texturas, cores e detalhes estruturais finos.

Quando o ruído obscurece estas características, o modelo recebe sinais de treino mais fracos, o que dificulta a aprendizagem de padrões precisos. Como resultado, mesmo pequenas quantidades de ruído podem reduzir o desempenho em aplicações reais.

Anteriormente, analisámos como a aprendizagem auto-supervisionada reduz o ruído das imagens. Neste artigo, vamos aprofundar o funcionamento das técnicas de redução de ruído auto-supervisionada e a forma como ajudam a recuperar informação visual relevante. Vamos começar!

Tipos comuns de ruído em imagens do mundo real#

Antes de explorarmos como a aprendizagem auto-supervisionada é utilizada na redução de ruído de imagens, vamos primeiro rever por que razão as imagens ficam com ruído.

As imagens de objetos e cenas do mundo real raramente são perfeitas. Iluminação reduzida, qualidade limitada do sensor e movimento rápido podem introduzir perturbações aleatórias em píxeis individuais ao longo da imagem. Estas perturbações ao nível dos píxeis, conhecidas como ruído, reduzem a nitidez geral e tornam os detalhes importantes mais difíceis de ver.

Quando o ruído oculta contornos, texturas e padrões subtis, os sistemas de visão computacional têm dificuldade em reconhecer objetos ou interpretar cenas com precisão. Diferentes condições produzem diferentes tipos de ruído, cada um afetando a imagem à sua maneira.

Fig. 1. Um exemplo de como o ruído pode causar um aumento da incerteza numa imagem. (Fonte)

Eis alguns dos tipos de ruído mais comuns encontrados nas imagens:

• Ruído gaussiano: Este tipo de ruído aparece como uma granulação suave e aleatória causada por interferência eletrónica do sensor ou flutuações térmicas. Segue uma distribuição gaussiana (normal), na qual pequenas variações dos píxeis desfocam os detalhes finos e reduzem a nitidez geral.
• Ruído de Poisson: Também chamado ruído de disparo, este tipo de ruído ocorre em condições de pouca luz ou com tempos de exposição curtos. A sua variância aumenta com o brilho, mas o ruído é frequentemente mais percetível nas regiões escuras porque são captados menos fotões, resultando numa menor relação sinal-ruído.
• Ruído sal e pimenta: Este tipo de ruído aparece como picos nítidos de píxeis pretos ou brancos. É normalmente causado por erros de transmissão, corrupção de bits ou sensores de câmara defeituosos, e resulta frequentemente em valores de píxeis em falta ou corrompidos.
• Ruído speckle: Este tipo de ruído aparece como padrões granulados semelhantes a manchas e é comum em imagens médicas, de radar e de ultrassons. É causado por interferência e dispersão do sinal, que reduzem o contraste e tornam os contornos mais difíceis de detetar.

Quando deves utilizar a redução de ruído auto-supervisionada?#

Então, o que torna especial a redução de ruído auto-supervisionada? É particularmente útil em situações nas quais simplesmente não existem imagens limpas de referência ou é demasiado difícil captá-las.

Isto acontece frequentemente em fotografia com pouca luz, imagens com ISO elevado, imagiologia médica e científica ou qualquer ambiente onde o ruído seja inevitável e recolher dados de referência perfeitos seja irrealista. Em vez de precisar de exemplos limpos, o modelo aprende diretamente com as imagens com ruído que já tens, adaptando-se aos padrões de ruído específicos da tua câmara ou sensor.

A redução de ruído auto-supervisionada também é uma excelente opção quando queres melhorar o desempenho de tarefas de visão computacional posteriores, mas o teu conjunto de dados está repleto de imagens inconsistentes ou com ruído. Ao recuperar contornos, texturas e estruturas mais nítidos, estes métodos ajudam modelos como o YOLO a detetar, segmentar e compreender cenas com maior fiabilidade. Em suma, se estás a trabalhar com dados ruidosos e não tens imagens de treino limpas disponíveis, a redução de ruído auto-supervisionada oferece frequentemente a solução mais prática e eficaz.

As principais técnicas por trás da redução de ruído auto-supervisionada#

Como vimos anteriormente, a redução de ruído auto-supervisionada é uma abordagem de IA baseada em aprendizagem profunda que permite aos modelos aprender diretamente com imagens com ruído, sem depender de rótulos limpos. Baseia-se nos princípios da aprendizagem auto-supervisionada, na qual os modelos geram os seus próprios sinais de treino a partir dos próprios dados.

Por outras palavras, um modelo pode ensinar-se a si próprio utilizando imagens com ruído como entrada e como fonte do seu sinal de aprendizagem. Ao comparar diferentes versões corrompidas da mesma imagem ou prever píxeis mascarados, o modelo aprende quais os padrões que representam a estrutura real e quais são apenas ruído. Através da otimização iterativa e do reconhecimento de padrões, a rede melhora gradualmente a sua capacidade de distinguir conteúdo visual relevante de variações aleatórias.

Fig. 2. Uma imagem bruta e uma imagem com o ruído reduzido. (Fonte)

Isto é possível graças a estratégias de aprendizagem específicas que orientam o modelo a separar a estrutura estável da imagem do ruído aleatório. Em seguida, vamos analisar mais de perto as principais técnicas e algoritmos que simplificam este processo e a forma como cada abordagem ajuda os modelos a reconstruir imagens mais limpas e fiáveis.

Métodos de redução de ruído de imagens em pares#

Muitos dos primeiros métodos de aprendizagem auto-supervisionada para redução de ruído funcionavam comparando duas versões com ruído da mesma imagem. Como o ruído muda aleatoriamente sempre que uma imagem é captada ou corrompida, mas a estrutura real permanece igual, estas diferenças podem ser utilizadas como sinal de aprendizagem para um modelo.

Estas abordagens são normalmente chamadas métodos de redução de ruído de imagens em pares porque dependem da utilização ou geração de pares de imagens com ruído durante o treino. Por exemplo, a abordagem Noise2Noise (proposta por Jaakko Lehtinen e a sua equipa) treina um modelo utilizando duas imagens com ruído, geradas de forma independente, da mesma cena. Como os padrões de ruído diferem entre as duas versões, o modelo aprende a identificar os detalhes consistentes que representam a imagem subjacente real.

Fig. 3. Como funciona o Noise2Noise (Fonte)

Com o tempo, isto ensina a rede a suprimir o ruído aleatório e a preservar a estrutura real, apesar de nunca ver uma imagem de referência limpa. Considera um cenário simples em que tiras duas fotografias de uma rua com pouca luz durante a noite.

Cada imagem contém os mesmos edifícios, luzes e sombras, mas o ruído granulado aparece em locais diferentes. Ao comparar estas duas fotografias com ruído durante o treino, um modelo auto-supervisionado pode aprender quais os padrões visuais estáveis e quais são causados pelo ruído, melhorando, em última análise, a sua capacidade de reconstruir imagens mais limpas.

Métodos de aprendizagem auto-supervisionada para redução de ruído baseados em pontos cegos#

Enquanto os métodos em pares dependem da comparação de duas versões da mesma imagem corrompidas de forma diferente, os métodos baseados em pontos cegos adotam uma abordagem diferente. Permitem que um modelo aprenda a partir de uma única imagem com ruído, ocultando píxeis selecionados para que a rede não consiga ver os seus valores corrompidos.

O modelo tem então de prever os píxeis ocultos utilizando apenas o contexto circundante. A ideia central é que o ruído é aleatório, mas a estrutura subjacente de uma imagem não é.

Ao impedir que o modelo copie o valor ruidoso de um píxel, os métodos baseados em pontos cegos incentivam-no a inferir qual deveria ser esse píxel com base em padrões estáveis da imagem, como contornos, texturas ou gradientes de cor próximos. Técnicas como Noise2Void (introduzida por Alexander Krull e a sua equipa) e Noise2Self (desenvolvida por Joshua Batson e Loïc Royer) implementam este princípio através do mascaramento de píxeis individuais ou de pequenas vizinhanças e do treino do modelo para os reconstruir.

Abordagens mais avançadas, incluindo Noise2Same e PN2V, melhoram a robustez ao impor previsões consistentes em várias versões mascaradas ou ao modelar explicitamente a distribuição do ruído para estimar a incerteza. Como estes métodos requerem apenas uma imagem com ruído, são especialmente úteis em domínios onde captar imagens limpas ou em pares é impraticável ou impossível, como microscopia, astronomia, imagiologia biomédica ou fotografia com pouca luz.

Métodos de redução de ruído com suporte de Transformer#

A maioria dos métodos de redução de ruído auto-supervisionada em pares e baseados em pontos cegos depende de redes neuronais convolucionais (CNNs) ou de redes de redução de ruído. As CNNs são uma excelente opção para estas abordagens porque se concentram em padrões locais, nomeadamente contornos, texturas e pequenos detalhes.

Arquiteturas como a U-Net são amplamente utilizadas, uma vez que combinam características detalhadas com informação multiescala. No entanto, as CNNs operam principalmente em vizinhanças limitadas, o que significa que podem não detetar relações importantes que abrangem regiões maiores de uma imagem.

Foram introduzidos métodos de redução de ruído de última geração com suporte de Transformer para resolver esta limitação. Em vez de observar apenas os píxeis próximos, o método proposto utiliza mecanismos de atenção para compreender a relação entre as diferentes partes de uma imagem.

Alguns modelos utilizam atenção global completa, enquanto outros utilizam atenção baseada em janelas ou hierárquica para reduzir a computação, mas, em geral, foram concebidos para captar estruturas de longo alcance que as CNNs, por si só, não conseguem. Esta perspetiva mais ampla ajuda o modelo a restaurar texturas repetitivas, superfícies suaves ou objetos grandes que exigem informação de toda a imagem.

Outros métodos de redução de ruído de imagens#

Para além das técnicas auto-supervisionadas, existem também várias outras formas de limpar imagens com ruído. Os métodos tradicionais, como a filtragem bilateral, a redução de ruído por wavelets e as médias não locais, utilizam regras matemáticas simples para suavizar o ruído, tentando preservar os detalhes importantes.

Entretanto, também existem abordagens de aprendizagem profunda, incluindo modelos supervisionados que aprendem com pares de imagens limpas e com ruído, e redes adversariais generativas (GANs) que geram resultados mais nítidos e realistas. No entanto, estes métodos exigem normalmente imagens de melhor qualidade para o treino.

Uma análise passo a passo do funcionamento da redução de ruído de imagens auto-supervisionada#

Como acabámos de analisar várias técnicas diferentes, podes estar a perguntar-te se cada uma funciona de uma forma completamente diferente, dado que utilizam as suas próprias arquiteturas. No entanto, todas seguem um pipeline semelhante, que começa com a preparação dos dados e termina com a avaliação do modelo.

Em seguida, vamos analisar mais de perto, passo a passo, o funcionamento geral do processo de redução de ruído de imagens auto-supervisionada.

Passo 1: Pré-processamento e normalização#

Antes de o modelo começar a aprender com imagens com ruído, o primeiro passo é garantir que todas as imagens têm um aspeto consistente. As fotografias reais podem variar bastante.

Algumas imagens podem ser demasiado claras, outras demasiado escuras e algumas podem ter cores ligeiramente incorretas. Se introduzirmos estas variações diretamente num modelo, torna-se mais difícil para ele se concentrar em aprender o aspeto do ruído.

Para lidar com isto, cada imagem passa por normalização e pré-processamento básico. Isto pode incluir o redimensionamento dos valores dos píxeis para um intervalo padrão, a correção de variações de intensidade ou o recorte e redimensionamento. O essencial é que o modelo receba dados limpos que possam ser utilizados como entradas estáveis e comparáveis.

Passo 2: Criação de um sinal de treino auto-supervisionado#

Depois de as imagens serem normalizadas, o passo seguinte é criar um sinal de treino que permita ao modelo aprender sem nunca ver uma imagem limpa. Os métodos de redução de ruído auto-supervisionada fazem isto garantindo que o modelo não consegue simplesmente copiar os valores dos píxeis com ruído que recebe.

Em vez disso, criam situações em que o modelo tem de depender do contexto circundante da imagem, que contém uma estrutura estável, e não do ruído imprevisível. Diferentes métodos conseguem isto de formas ligeiramente diferentes, mas a ideia central é a mesma.

Algumas abordagens ocultam ou mascaram temporariamente determinados píxeis para que o modelo tenha de os inferir a partir dos seus vizinhos, enquanto outras geram uma versão corrompida separadamente da mesma imagem com ruído, para que a entrada e o alvo contenham ruído independente. Em ambos os casos, a imagem-alvo contém informação estrutural relevante, mas impede a rede de aceder ao valor original com ruído do píxel que deve prever.

Como o ruído muda aleatoriamente enquanto a imagem subjacente permanece consistente, esta configuração incentiva naturalmente o modelo a aprender o aspeto da verdadeira estrutura e a ignorar o ruído que varia de uma versão para outra.

Passo 3: Aprendizagem da redução de ruído para recuperar a estrutura da imagem#

Com o sinal de treino estabelecido, o modelo pode começar a aprender a separar a estrutura relevante da imagem do ruído através do treino do modelo. Sempre que prevê um píxel mascarado ou novamente corrompido, tem de depender do contexto circundante em vez do valor com ruído que ocupava originalmente esse local.

Ao longo de muitas iterações ou épocas, isto ensina a rede a reconhecer os tipos de padrões que permanecem estáveis numa imagem, como contornos, texturas e superfícies suaves. Também aprende a ignorar as flutuações aleatórias que caracterizam o ruído.

Por exemplo, considera uma fotografia com pouca luz em que uma superfície parece extremamente granulada. Embora o ruído varie de píxel para píxel, a superfície subjacente continua suave. Ao inferir repetidamente os píxeis ocultos nessas regiões, o modelo melhora gradualmente a sua capacidade de identificar o padrão estável por baixo do ruído e de o reconstruir de forma mais limpa.

Através do processo de treino do modelo, a rede aprende uma representação interna da estrutura da imagem. Isto permite ao modelo recuperar detalhes coerentes mesmo quando a entrada está muito corrompida.

Passo 4: Validação e resultados da redução de ruído#

Depois de o modelo aprender a prever píxeis ocultos ou novamente corrompidos, o passo final é avaliar o seu desempenho em imagens completas. Durante os testes, o modelo recebe uma imagem inteira com ruído e produz uma versão completa com o ruído reduzido, com base no que aprendeu sobre a estrutura da imagem. Para medir a eficácia deste processo, o resultado é comparado com imagens de referência limpas ou conjuntos de dados de referência padrão.

Duas métricas utilizadas frequentemente são a PSNR (relação sinal-ruído de pico), que mede o grau de proximidade da reconstrução em relação à verdade fundamental limpa, e a SSIM (índice de similaridade estrutural), que avalia até que ponto características importantes, como contornos e texturas, são preservadas. Pontuações mais elevadas indicam geralmente uma redução de ruído mais precisa e visualmente fiável.

Conjuntos de dados de imagens utilizados para treino e avaliação de referência#

A investigação sobre redução de ruído auto-supervisionada, publicada, entre outros, em revistas da IEEE e conferências da CVF, como CVPR, ICCV e ECCV, e amplamente distribuída no arXiv, recorre frequentemente a uma combinação de conjuntos de dados sintéticos e do mundo real para avaliar o desempenho de modelos de métodos de aprendizagem profunda em condições controladas e práticas. Por um lado, os conjuntos de dados sintéticos começam com imagens limpas e adicionam ruído artificial, facilitando a comparação de métodos através de métricas como PSNR e SSIM.

Eis alguns conjuntos de dados populares utilizados habitualmente com ruído sintético adicionado para avaliação de referência:

• Kodak24: Este conjunto de dados fornece fotografias de cenas naturais de alta qualidade, habitualmente utilizadas para comparar visualmente os resultados da redução de ruído.
• DIV2K: Este conjunto de dados de alta resolução contém imagens diversificadas e detalhadas, utilizadas para avaliar a fidelidade das texturas e a qualidade geral da restauração.

Por outro lado, os conjuntos de dados com ruído do mundo real contêm imagens captadas diretamente por sensores de câmaras em condições de pouca luz, ISO elevado ou outras condições desafiantes. Estes conjuntos de dados testam se um modelo consegue lidar com ruído complexo, não gaussiano, que não pode ser facilmente simulado.

Eis alguns conjuntos de dados populares com ruído do mundo real:

• SIDD: Este conjunto de dados fornece pares de imagens reais com ruído e limpas, captadas com sensores de smartphones numa variedade de condições de iluminação.
• DND: Inclui fotografias com ISO elevado que captam padrões realistas de ruído dos sensores encontrados em câmaras de consumo.

Fig. 4. Um exemplo do conjunto de dados DND. (Fonte)

Fatores a considerar ao treinar um modelo de redução de ruído auto-supervisionada#

Eis alguns fatores e limitações a considerar se fores treinar um modelo de redução de ruído auto-supervisionada baseado em aprendizagem profunda:

• Faz corresponder a distribuição do ruído: As imagens com ruído utilizadas no treino devem refletir o mesmo ruído que o modelo encontrará na utilização real; um ruído incompatível conduz a uma fraca generalização.
• Garante a diversidade dos dados de treino: Uma variação limitada pode causar sobreajuste ou suavização excessiva em texturas complexas.
• Tem em conta as limitações do tipo de ruído: Os métodos auto-supervisionados têm mais dificuldade com ruído estruturado, correlacionado ou não aleatório.
• Testa em diferentes dispositivos ou sensores: O desempenho da redução de ruído pode variar bastante entre câmaras ou sistemas de imagiologia.

Principais conclusões#

A redução de ruído auto-supervisionada oferece aos entusiastas de IA uma forma prática de limpar imagens utilizando apenas os dados com ruído que já temos. Ao aprenderem a reconhecer a estrutura real por baixo do ruído, estes métodos conseguem recuperar detalhes visuais importantes. À medida que a tecnologia de redução de ruído continua a melhorar, é provável que torne mais fiável uma vasta gama de tarefas de visão computacional em situações do dia a dia.

Faz parte da nossa comunidade em crescimento! Explora o nosso repositório do GitHub para saberes mais sobre IA. Se procuras criar soluções de visão computacional, consulta as nossas opções de licenciamento. Descobre as vantagens da visão computacional no retalho e vê como a IA na indústria está a fazer a diferença!