Utilizar aprendizagem auto-supervisionada para remover ruído das imagens

As imagens fazem parte do nosso quotidiano, desde as fotografias que tiramos até aos vídeos gravados por câmaras em locais públicos. Contêm informações relevantes, e a tecnologia de ponta permite analisar e interpretar estes dados.

Em particular, a visão computacional, um ramo da inteligência artificial (AI), permite que as máquinas processem informação visual e compreendam o que veem, tal como os seres humanos. No entanto, em aplicações do mundo real, as imagens estão frequentemente longe de ser perfeitas.

O ruído de imagem causado pela chuva, pelo pó, pela pouca luz ou pelas limitações dos sensores pode ocultar detalhes importantes, dificultando a deteção de objetos ou a interpretação precisa de cenas pelos modelos de Vision AI. A remoção de ruído de imagem ajuda a reduzi-lo, permitindo que os modelos de Vision AI vejam os detalhes com maior nitidez e façam previsões melhores.

Fig. 1. Um exemplo de remoção de ruído de uma imagem. (Fonte)

Tradicionalmente, a remoção de ruído de imagens baseia-se na aprendizagem supervisionada, em que os modelos são treinados com pares de imagens com ruído e sem ruído para aprenderem a removê-lo. No entanto, nem sempre é prático recolher imagens de referência perfeitamente nítidas.

Para enfrentar este desafio, os investigadores desenvolveram métodos de remoção de ruído de imagens auto-supervisionados. O objetivo é treinar modelos de AI para aprenderem diretamente a partir dos dados, criando os seus próprios sinais de aprendizagem para remover o ruído e preservar os detalhes importantes sem precisarem de imagens de referência nítidas.

Neste artigo, vamos analisar mais de perto os métodos auto-supervisionados de remoção de ruído de imagens, o seu funcionamento, as principais técnicas subjacentes e as suas aplicações no mundo real. Vamos começar!

O que é a remoção de ruído de imagens auto-supervisionada?#

As imagens com ruído podem dificultar a interpretação do conteúdo de uma fotografia pelos modelos de Vision AI. Por exemplo, uma fotografia tirada em condições de pouca luz pode apresentar grão ou ficar desfocada, ocultando características subtis que ajudam um modelo a identificar objetos com precisão.

Na remoção de ruído baseada em aprendizagem supervisionada, os modelos são treinados com pares de imagens, uma com ruído e outra nítida, para aprenderem a remover o ruído indesejado. Embora esta abordagem funcione bem, recolher dados de referência perfeitamente nítidos é frequentemente demorado e difícil em cenários do mundo real.

Por isso, os investigadores recorreram à remoção de ruído de imagens auto-supervisionada. A remoção de ruído de imagens auto-supervisionada baseia-se no conceito de aprendizagem auto-supervisionada, em que os modelos ensinam a si próprios criando os seus próprios sinais de aprendizagem a partir dos dados.

Como este método não depende de grandes conjuntos de dados anotados, a remoção de ruído auto-supervisionada é mais rápida, escalável e fácil de aplicar em domínios como a fotografia com pouca luz, a imagiologia médica e a análise de imagens de satélite, onde frequentemente não existem imagens de referência nítidas.

Em vez de depender de imagens de referência nítidas, esta abordagem treina diretamente com dados com ruído, prevendo píxeis mascarados ou reconstruindo partes em falta. Através deste processo, o modelo aprende a distinguir os detalhes significativos da imagem do ruído aleatório, produzindo resultados mais nítidos e precisos.

Embora possa parecer semelhante à aprendizagem não supervisionada, a aprendizagem auto-supervisionada é, na verdade, um caso especial desta. A principal distinção é que, na aprendizagem auto-supervisionada, o modelo cria as suas próprias etiquetas ou sinais de treino a partir dos dados para aprender uma tarefa específica. Em contrapartida, a aprendizagem não supervisionada concentra-se em encontrar padrões ou estruturas ocultas nos dados, sem uma tarefa explícita ou um objetivo predefinido.

Estratégias de aprendizagem na remoção de ruído auto-supervisionada#

No que diz respeito à remoção de ruído auto-supervisionada, existem várias formas de aprendizagem. Alguns modelos auto-supervisionados de remoção de ruído preenchem píxeis mascarados ou em falta, enquanto outros comparam várias versões com ruído da mesma imagem para encontrar detalhes consistentes.

Por exemplo, um método popular conhecido como aprendizagem de ponto cego concentra-se em treinar o modelo de remoção de ruído para ignorar o píxel que está a reconstruir e basear-se no contexto circundante. Ao longo do tempo, o modelo reconstrói imagens de alta qualidade, preservando texturas, contornos e cores essenciais.

Como funciona a aprendizagem auto-supervisionada para remover o ruído#

De seguida, vamos explorar o processo através do qual a aprendizagem auto-supervisionada remove o ruído.

O processo de remoção de ruído auto-supervisionada começa normalmente com a introdução de imagens com ruído no modelo de remoção de ruído. O modelo analisa os píxeis próximos para estimar o aspeto que cada píxel pouco nítido ou mascarado deve ter, aprendendo gradualmente a distinguir o ruído dos detalhes visuais reais.

Considera uma imagem de um céu escuro e com grão. O modelo observa as estrelas próximas e os padrões circundantes para prever o aspeto que cada área com ruído teria sem o ruído. Ao repetir este processo em toda a imagem, aprende a separar o ruído aleatório das características significativas, produzindo um resultado mais nítido e preciso.

Por outras palavras, o modelo prevê uma versão mais nítida da imagem com base no contexto, sem nunca precisar de uma referência perfeitamente nítida. Este processo pode ser implementado utilizando diferentes tipos de modelos, cada um com vantagens específicas no tratamento do ruído.

Tipos de modelos utilizados para a redução de ruído de imagens auto-supervisionada#

Eis uma breve análise dos tipos de modelos normalmente utilizados para a remoção de ruído de imagens auto-supervisionada:

• Redes Neuronais Convolucionais (CNNs): as CNNs são modelos de aprendizagem profunda concebidos para reconhecer padrões em pequenas regiões de uma imagem. Analisam as imagens utilizando filtros para detetar contornos, formas e texturas. Na remoção de ruído auto-supervisionada, utilizam frequentemente técnicas de ponto cego, nas quais o píxel-alvo é excluído da entrada para que o modelo preveja o seu valor apenas com base nos píxeis circundantes. Isto ajuda o modelo a evitar copiar o ruído e a inferir detalhes mais nítidos.
• Autoencoders: os autoencoders são redes neuronais que aprendem a comprimir e reconstruir dados. Primeiro, reduzem uma imagem a uma representação mais pequena (codificação) e, de seguida, reconstroem-na (descodificação). Durante o processo, aprendem a captar características visuais importantes, como formas e texturas, filtrando simultaneamente o ruído aleatório e os detalhes irrelevantes.
• Modelos baseados em Transformer: os Transformers são modelos originalmente desenvolvidos para o processamento de linguagem natural, mas atualmente são amplamente utilizados em tarefas de visão. Processam a imagem inteira de uma só vez, aprendendo como as diferentes regiões se relacionam entre si. Esta perspetiva global permite-lhes preservar detalhes finos e a consistência estrutural, mesmo em imagens complexas ou de alta resolução.

Fig. 2. Uma análise de uma arquitetura baseada em CNN utilizada para a remoção de ruído de imagens auto-supervisionada. (Fonte)

Treinar estes modelos com imagens captadas em diferentes condições de iluminação e definições de ISO ajuda-os a funcionar bem em muitas situações do mundo real. Nas câmaras digitais, as definições de ISO controlam o quanto a câmara ilumina a imagem ao amplificar o sinal recebido.

Um ISO mais elevado torna as fotografias mais claras em locais escuros, mas também aumenta o ruído e reduz os detalhes. Ao aprenderem com imagens captadas em diferentes níveis de ISO, os modelos tornam-se melhores a distinguir os detalhes reais do ruído, produzindo resultados mais nítidos e precisos.

Como é que um modelo de remoção de ruído aprende o que é ruído e o que é real?#

Os modelos de remoção de ruído aprendem a distinguir o ruído dos detalhes reais da imagem através de diferentes técnicas de treino, que são independentes dos tipos de modelos utilizados para a remoção de ruído. Tipos de modelos como CNNs, autoencoders e Transformers descrevem a estrutura da rede e a forma como esta processa a informação visual.

Por outro lado, as técnicas de treino definem a forma como o modelo aprende. Alguns métodos utilizam a previsão baseada no contexto, em que o modelo preenche píxeis em falta ou mascarados utilizando informação de áreas próximas.

Outros utilizam a aprendizagem baseada na reconstrução, em que o modelo comprime uma imagem numa forma mais simples e depois a reconstrói, ajudando-o a reconhecer estruturas significativas, como contornos e texturas, enquanto filtra o ruído aleatório.

Em conjunto, o tipo de modelo e a técnica de treino determinam a eficácia com que um modelo de remoção de ruído consegue limpar as imagens. Ao combinar a arquitetura adequada com a abordagem de aprendizagem correta, os modelos auto-supervisionados de remoção de ruído podem adaptar-se a muitos tipos de ruído e produzir imagens mais nítidas e precisas, mesmo sem dados de referência nítidos.

Principais técnicas de AI auto-supervisionada para a remoção de ruído de imagens#

Eis algumas das técnicas de treino mais utilizadas que permitem uma remoção de ruído de imagens auto-supervisionada eficaz:

• Noise2Noise: este método treina um modelo utilizando duas versões com ruído da mesma imagem. Como o ruído de cada versão é aleatório, o modelo aprende a concentrar-se nos detalhes consistentes que representam a imagem real e a ignorar o ruído. Funciona melhor quando estão disponíveis várias capturas com ruído da mesma cena, como em fotografias em sequência ou em imagiologia médica e científica.
• Noise2Void ou Noise2Self: estas técnicas treinam com uma única imagem com ruído, ocultando (mascarando) um píxel e pedindo ao modelo que preveja o seu valor com base nos píxeis circundantes. Isto impede o modelo de simplesmente copiar dados com ruído e ajuda-o a aprender a estrutura natural das imagens. São especialmente úteis quando só está disponível uma imagem com ruído, como em microscopia, astronomia ou fotografia com pouca luz.
• Redes de ponto cego: são concebidas especificamente para que o modelo não consiga ver o píxel que está a reconstruir. Em vez disso, baseia-se na informação da área circundante para estimar o aspeto que esse píxel deve ter. Isto torna a remoção de ruído mais precisa e imparcial, sendo estas redes frequentemente combinadas com os métodos Noise2Void ou Noise2Self em tarefas de remoção de ruído píxel a píxel.
• Autoencoders mascarados (MAE): nesta abordagem, partes de uma imagem são ocultadas e o modelo aprende a reconstruir as áreas em falta. Ao fazê-lo, aprende tanto os detalhes finos como a estrutura geral, o que o ajuda a distinguir o conteúdo real do ruído. Os autoencoders mascarados são especialmente eficazes em imagens de alta resolução ou complexas, nas quais a compreensão do contexto mais amplo melhora a restauração.

Avaliação de sistemas de remoção de ruído de imagens#

A remoção de ruído de imagens é um equilíbrio cuidadoso entre dois objetivos: reduzir o ruído e manter intactos os detalhes finos. Uma remoção de ruído excessiva pode tornar a imagem suave ou desfocada, enquanto uma remoção insuficiente pode deixar grão ou artefactos indesejados.

Para compreender o desempenho de um modelo neste equilíbrio, os investigadores utilizam métricas de avaliação que medem tanto a nitidez da imagem como a preservação dos detalhes. Estas métricas mostram até que ponto um modelo limpa uma imagem sem perder informação visual importante.

Eis as métricas de avaliação comuns que ajudam a medir a qualidade da imagem e o desempenho da remoção de ruído:

• Erro quadrático médio (MSE): mede a diferença quadrática média entre as imagens original e com o ruído removido. Evidencia o grau de proximidade da saída relativamente à imagem original ao nível dos píxeis. Valores mais baixos de MSE significam menos erros e um resultado mais preciso.
• Relação sinal-ruído de pico (PSNR): esta métrica compara a intensidade do sinal da imagem original com o ruído restante, expressa em decibéis. É utilizada para verificar quanto dos detalhes originais foi preservado após a remoção de ruído. Valores mais elevados de PSNR significam imagens mais nítidas e de maior qualidade.
• Métrica de similaridade estrutural (SSIM): a SSIM avalia a estrutura, o brilho e o contraste para determinar a similaridade entre a imagem com o ruído removido e a original. Concentra-se na forma como os seres humanos veem as imagens, não apenas nos números brutos. Pontuações mais elevadas de SSIM significam que a imagem parece mais natural e fiel à original.
• Métricas percetivas: estas métricas utilizam modelos de aprendizagem profunda para avaliar o grau de realismo e naturalidade de uma imagem. Em vez de compararem píxeis individuais, concentram-se no aspeto geral, na textura e na similaridade visual. Na maioria dos casos, pontuações mais baixas significam que a imagem parece mais próxima da original e mais agradável visualmente para os seres humanos.

Aplicações da remoção de ruído auto-supervisionada#

Agora que compreendemos melhor o que é a remoção de ruído, vamos explorar como é aplicada em cenários do mundo real.

Utilizar a remoção de ruído auto-supervisionada em astrofotografia#

Tirar fotografias nítidas de estrelas e galáxias não é fácil. O céu noturno é escuro, pelo que as câmaras precisam frequentemente de tempos de exposição longos, o que pode introduzir ruído indesejado. Este ruído pode desfocar detalhes cósmicos finos e dificultar a deteção de sinais fracos.

As ferramentas tradicionais de remoção de ruído podem ajudar a reduzi-lo, mas frequentemente removem também detalhes importantes. A remoção de ruído auto-supervisionada oferece uma alternativa mais inteligente. Ao aprender diretamente com imagens com ruído, o modelo de AI consegue reconhecer padrões que representam características reais e separá-los do ruído aleatório.

O resultado são imagens muito mais nítidas de objetos celestes, como estrelas, galáxias e o Sol, revelando detalhes fracos que poderiam passar despercebidos. Também pode realçar características astronómicas subtis, melhorando a nitidez da imagem e tornando os dados mais úteis para a investigação científica.

Fig. 3. A remoção de ruído de imagens pode melhorar imagens de astrofotografia. (Fonte)

Remoção de ruído auto-supervisionada para imagiologia médica#

Exames médicos, como imagens de ressonância magnética, tomografia computorizada e microscopia, captam frequentemente ruído que pode dificultar a visualização de pequenos detalhes. Isto pode ser um problema quando os médicos precisam de detetar sinais precoces de doença ou acompanhar alterações ao longo do tempo.

O ruído de imagem pode resultar do movimento do paciente, da baixa intensidade do sinal ou das limitações relativas à quantidade de radiação que pode ser utilizada. Para tornar os exames médicos mais nítidos, os investigadores exploraram métodos de remoção de ruído auto-supervisionada, como Noise2Self e outras abordagens semelhantes.

Estes modelos são treinados diretamente com imagens de ressonância magnética do cérebro com ruído, aprendendo autonomamente os padrões de ruído e limpando as imagens sem precisarem de exemplos perfeitamente nítidos. As imagens processadas apresentaram texturas mais definidas e melhor contraste, facilitando a identificação de estruturas finas. Estes modelos de remoção de ruído baseados em AI simplificam o fluxo de trabalho da imagiologia de diagnóstico e melhoram a eficiência da análise em tempo real.

Fig. 4. Utilização de diferentes técnicas de remoção de ruído auto-supervisionada em exames de ressonância magnética do cérebro. (Fonte)

Melhorar os sistemas de visão com remoção de ruído auto-supervisionada#

Na maioria dos casos, a remoção de ruído tem um impacto significativo numa vasta gama de aplicações de visão computacional. Ao eliminar ruído e distorções indesejados, produz dados de entrada mais nítidos e consistentes para processamento pelos modelos de Vision AI.

Imagens mais nítidas melhoram o desempenho em tarefas de visão computacional, como deteção de objetos, segmentação de instâncias e reconhecimento de imagens. Eis alguns exemplos de aplicações em que os modelos de Vision AI, como o Ultralytics YOLO11 e o Ultralytics YOLO26, podem beneficiar da remoção de ruído:

• Inspeção industrial: a remoção de ruído permite detetar com maior precisão defeitos ou anomalias superficiais em ambientes de produção, melhorando o controlo de qualidade.
• Condução e navegação autónomas: melhora a deteção de objetos e obstáculos em condições difíceis, como pouca luz, chuva ou nevoeiro, aumentando a segurança e a fiabilidade gerais.
• Vigilância e segurança: a remoção de ruído melhora a qualidade da imagem em transmissões de vídeo com pouca luz ou elevada compressão, permitindo identificar e acompanhar melhor objetos ou pessoas.
• Imagiologia subaquática: a remoção de ruído reduz a dispersão e a distorção da luz, melhorando a visibilidade e o reconhecimento de objetos em condições subaquáticas turvas.

Vantagens e desvantagens da remoção de ruído auto-supervisionada#

Eis algumas vantagens importantes da utilização da remoção de ruído auto-supervisionada em sistemas de imagiologia:

• Adaptabilidade ao ruído: os métodos de remoção de ruído auto-supervisionada podem aprender diretamente com dados com ruído sem necessitarem de referências nítidas emparelhadas. Isto torna-os altamente adaptáveis a uma vasta gama de níveis e tipos de ruído do mundo real, como ruído do sensor, desfoque de movimento ou interferência ambiental.
• Preservação dos detalhes: quando bem concebidos, estes modelos preservam texturas finas e contornos essenciais para uma interpretação precisa das imagens. Abordagens como redes de ponto cego e aprendizagem baseada em mascaramento ajudam a manter a informação estrutural enquanto reduzem o ruído.
• Menor pré-processamento: ao aprender a mapear entradas com ruído para representações nítidas utilizando apenas os dados disponíveis, o modelo minimiza a necessidade de filtragem manual, algoritmos de remoção de ruído desenvolvidos manualmente ou conjuntos de dados de treino selecionados.

Apesar das suas vantagens, a remoção de ruído auto-supervisionada também apresenta algumas limitações. Eis alguns fatores a considerar:

• Requisitos computacionais: as arquiteturas de redes neuronais profundas utilizadas na remoção de ruído auto-supervisionada, especialmente os modelos baseados em Transformer, podem exigir recursos consideráveis de capacidade computacional e memória em comparação com as técnicas de filtragem tradicionais.
• Complexidade da conceção do modelo: alcançar resultados ideais exige uma seleção cuidadosa das definições do modelo, como a estratégia de mascaramento e a função de perda, que podem variar consoante os diferentes tipos de ruído.
• Desafios da avaliação: as métricas comuns de qualidade de imagem nem sempre correspondem ao aspeto natural ou realista de uma imagem com o ruído removido, pelo que são frequentemente necessárias verificações visuais ou específicas da tarefa.

Principais conclusões#

A remoção de ruído auto-supervisionada ajuda os modelos de AI a aprender diretamente com imagens com ruído, produzindo resultados mais nítidos e preservando simultaneamente os detalhes finos. Funciona eficazmente em vários cenários exigentes, como pouca luz, ISO elevado e imagens detalhadas. À medida que a AI continua a evoluir, estas técnicas irão provavelmente desempenhar um papel essencial em várias aplicações de visão computacional.

Junta-te à nossa comunidade e explora o nosso repositório do GitHub para descobrires mais sobre AI. Se procuras criar o teu próprio projeto de Vision AI, consulta as nossas opções de licenciamento. Descobre mais sobre aplicações como AI na área da saúde e Vision AI no retalho visitando as nossas páginas de soluções.