Usando aprendizado autossupervisionado para remover ruído de imagens

As imagens fazem parte do nosso cotidiano, desde as fotos que tiramos até os vídeos gravados por câmeras em locais públicos. Elas contêm informações valiosas, e a tecnologia de ponta torna possível analisar e interpretar esses dados.

Em particular, a visão computacional, um ramo da inteligência artificial (IA), permite que máquinas processem informações visuais e entendam o que veem, assim como os humanos fazem. No entanto, em aplicações do mundo real, as imagens geralmente estão longe da perfeição.

O ruído de imagem causado por chuva, poeira, baixa luminosidade ou limitações do sensor pode ocultar detalhes importantes, tornando mais difícil para os modelos de Vision AI detectar objetos ou interpretar cenas com precisão. A remoção de ruído (denoising) ajuda a reduzir esse ruído, tornando possível que os modelos de Vision AI vejam detalhes com mais clareza e façam previsões melhores.

Fig 1. Um exemplo de remoção de ruído de uma imagem. (Fonte)

Tradicionalmente, a remoção de ruído de imagem baseou-se na aprendizagem supervisionada, onde os modelos são treinados usando pares de imagens com ruído e limpas para aprender como remover o ruído. Contudo, coletar imagens de referência perfeitamente limpas nem sempre é prático.

Para enfrentar esse desafio, pesquisadores desenvolveram removedores de ruído de imagem autossupervisionados. Eles visam treinar modelos de IA para aprender diretamente a partir dos dados, criando seus próprios sinais de aprendizagem para remover ruído e manter detalhes importantes sem precisar de imagens de referência limpas.

Neste artigo, analisaremos mais de perto os removedores de ruído de imagem autossupervisionados, como funcionam, as técnicas principais por trás deles e suas aplicações no mundo real. Vamos começar!

Link to this sectionO que é remoção de ruído de imagem autossupervisionada?#

Imagens com ruído podem dificultar a interpretação do que há em uma foto pelos modelos de Vision AI. Uma foto tirada em condições de baixa luminosidade, por exemplo, pode parecer granulada ou borrada, ocultando características sutis que ajudam um modelo a identificar objetos com precisão.

Na remoção de ruído baseada em aprendizagem supervisionada, os modelos são treinados usando pares de imagens, uma com ruído e uma limpa, para aprender como remover o ruído indesejado. Embora essa abordagem funcione bem, coletar dados de referência perfeitamente limpos é frequentemente demorado e difícil em cenários do mundo real.

É por isso que os pesquisadores se voltaram para a remoção de ruído de imagem autossupervisionada. A remoção de ruído de imagem autossupervisionada baseia-se no conceito de aprendizagem autossupervisionada, onde os modelos se ensinam criando seus próprios sinais de aprendizagem a partir dos dados.

Como esse método não depende de grandes conjuntos de dados rotulados, a remoção de ruído autossupervisionada é mais rápida, mais escalável e mais fácil de aplicar em domínios como fotografia de baixa luz, imagens médicas e análise de imagens de satélite, onde imagens de referência limpas geralmente não estão disponíveis.

Em vez de depender de imagens de referência limpas, essa abordagem treina diretamente com dados com ruído, prevendo pixels mascarados ou reconstruindo partes ausentes. Através desse processo, o modelo aprende a distinguir entre detalhes significativos da imagem e ruído aleatório, levando a saídas mais nítidas e precisas.

Embora possa parecer semelhante à aprendizagem não supervisionada, a aprendizagem autossupervisionada é, na verdade, um caso especial dela. A distinção fundamental é que, na aprendizagem autossupervisionada, o modelo cria seus próprios rótulos ou sinais de treinamento a partir dos dados para aprender uma tarefa específica. Em contraste, a aprendizagem não supervisionada foca em encontrar padrões ou estruturas ocultas nos dados sem qualquer tarefa explícita ou objetivo predefinido.

Link to this sectionEstratégias de aprendizagem na remoção de ruído autossupervisionada#

Com relação à remoção de ruído autossupervisionada, existem várias maneiras pelas quais a aprendizagem ocorre. Alguns modelos de remoção de ruído autossupervisionada preenchem pixels mascarados ou ausentes, enquanto outros comparam múltiplas versões com ruído da mesma imagem para encontrar detalhes consistentes.

Por exemplo, um método popular conhecido como "blind-spot learning" foca em treinar o modelo de remoção de ruído para ignorar o pixel que está reconstruindo e confiar no contexto ao redor. Com o tempo, o modelo reconstrói imagens de alta qualidade enquanto preserva texturas, bordas e cores essenciais.

Link to this sectionComo a aprendizagem autossupervisionada funciona para remover ruído#

A seguir, exploraremos o processo por trás de como a aprendizagem autossupervisionada remove ruído.

O processo de remoção de ruído autossupervisionada geralmente começa alimentando imagens com ruído no modelo de remoção de ruído. O modelo analisa pixels próximos para estimar como cada pixel pouco claro ou mascarado deveria parecer, aprendendo gradualmente a distinguir entre ruído e detalhes visuais reais.

Considere uma imagem de um céu escuro e granulado. O modelo observa as estrelas próximas e os padrões ao redor para prever como cada trecho com ruído deveria parecer sem o ruído. Ao repetir esse processo em toda a imagem, ele aprende a separar o ruído aleatório das características significativas, produzindo um resultado mais nítido e preciso.

Em outras palavras, o modelo prevê uma versão mais limpa da imagem com base no contexto, sem nunca precisar de uma referência perfeitamente limpa. Esse processo pode ser implementado usando diferentes tipos de modelos, cada um com forças únicas no manuseio de ruído.

Link to this sectionTipos de modelos usados para redução de ruído de imagem autossupervisionada#

Aqui está uma rápida olhada nos tipos de modelos comumente usados para remoção de ruído de imagem autossupervisionada:

• Redes Neurais Convolucionais (CNNs): CNNs são modelos de deep learning projetados para reconhecer padrões em pequenas regiões de uma imagem. Eles escaneiam imagens usando filtros para detectar bordas, formas e texturas. Na remoção de ruído autossupervisionada, eles frequentemente usam técnicas de "blind-spot", onde o pixel de destino é excluído da entrada para que o modelo preveja seu valor com base apenas nos pixels vizinhos. Isso ajuda o modelo a evitar copiar o ruído e, em vez disso, inferir detalhes mais limpos.
• Autoencoders: Autoencoders são redes neurais que aprendem a comprimir e reconstruir dados. Eles primeiro reduzem uma imagem a uma representação menor (codificação) e depois a reconstroem (decodificação). No processo, aprendem a capturar características visuais importantes, como formas e texturas, enquanto filtram o ruído aleatório e detalhes irrelevantes.
• Modelos baseados em Transformer: Transformers são modelos desenvolvidos originalmente para processamento de linguagem natural, mas agora amplamente usados para tarefas de visão. Eles processam a imagem inteira de uma vez, aprendendo como diferentes regiões se relacionam entre si. Essa perspectiva global permite que preservem detalhes finos e consistência estrutural, mesmo em imagens complexas ou de alta resolução.

Fig 2. Uma visão de uma arquitetura baseada em CNN usada para remoção de ruído de imagem autossupervisionada. (Fonte)

Treinar esses modelos com imagens tiradas em diferentes configurações de iluminação e ISO ajuda a funcionarem bem em muitas situações do mundo real. Em câmeras digitais, as configurações ISO controlam o quanto a câmera ilumina a imagem ao amplificar o sinal que recebe.

Um ISO mais alto torna as fotos mais claras em locais escuros, mas também aumenta o ruído e reduz os detalhes. Ao aprender a partir de imagens tiradas em diferentes níveis de ISO, os modelos tornam-se melhores em distinguir detalhes reais de ruído, levando a resultados mais nítidos e precisos.

Link to this sectionComo um removedor de ruído aprende o que é ruído e o que é real?#

Os removedores de ruído aprendem a diferenciar o ruído dos detalhes reais da imagem através de diferentes técnicas de treinamento, que são separadas dos tipos de modelo usados para a remoção de ruído. Tipos de modelos como CNNs, autoencoders e Transformers descrevem a estrutura da rede e como ela processa informações visuais.

As técnicas de treinamento, por outro lado, definem como o modelo aprende. Alguns métodos usam predição baseada em contexto, onde o modelo preenche pixels ausentes ou mascarados usando informações de áreas próximas.

Outros usam aprendizagem baseada em reconstrução, onde o modelo comprime uma imagem em uma forma mais simples e depois a reconstrói, ajudando-o a reconhecer estruturas significativas como bordas e texturas enquanto filtra o ruído aleatório.

Juntos, o tipo de modelo e a técnica de treinamento determinam a eficácia com que um removedor de ruído pode limpar imagens. Ao combinar a arquitetura certa com a abordagem de aprendizagem correta, os removedores de ruído autossupervisionados podem se adaptar a muitos tipos de ruído e produzir imagens mais nítidas e precisas, mesmo sem dados de referência limpos.

Link to this sectionTécnicas principais na remoção de ruído de imagem por IA autossupervisionada#

Aqui estão algumas das técnicas de treinamento mais amplamente usadas que permitem uma remoção de ruído de imagem autossupervisionada eficaz:

• Noise2Noise: Este método treina um modelo usando duas versões com ruído da mesma imagem. Como o ruído em cada versão é aleatório, o modelo aprende a focar em detalhes consistentes que representam a imagem real e ignorar o ruído. Funciona melhor quando múltiplas capturas com ruído da mesma cena estão disponíveis, como em fotografia em modo burst ou imagens médicas e científicas.
• Noise2Void ou Noise2Self: Essas técnicas treinam em uma única imagem com ruído, ocultando (mascarando) um pixel e pedindo ao modelo para prever seu valor com base nos pixels vizinhos. Isso evita que o modelo simplesmente copie dados com ruído e o ajuda a aprender a estrutura natural das imagens. Elas são especialmente úteis quando apenas uma imagem com ruído está disponível, como em microscopia, astronomia ou fotografia de baixa luz.
• Redes de "blind-spot": Elas são projetadas especialmente para que o modelo não possa ver o pixel que está reconstruindo. Em vez disso, ele depende de informações da área ao redor para estimar como esse pixel deveria parecer. Isso torna a remoção de ruído mais precisa e imparcial, e elas são frequentemente combinadas com métodos Noise2Void ou Noise2Self em tarefas de remoção de ruído por pixel.
• Masked Autoencoders (MAE): Nesta abordagem, partes de uma imagem são ocultadas, e o modelo aprende a reconstruir as áreas ausentes. Ao fazer isso, aprende tanto detalhes finos quanto a estrutura geral, ajudando-o a distinguir o conteúdo real do ruído. Os Masked Autoencoders são especialmente eficazes para imagens de alta resolução ou complexas, onde entender o contexto mais amplo melhora a restauração.

Link to this sectionAvaliando sistemas de remoção de ruído de imagem#

A remoção de ruído de imagem é um equilíbrio cuidadoso entre dois objetivos: reduzir o ruído e manter os detalhes finos intactos. Muita remoção de ruído pode fazer uma imagem parecer suave ou borrada, enquanto pouca pode deixar grãos ou artefatos indesejados para trás.

Para entender quão bem um modelo atinge esse equilíbrio, os pesquisadores usam métricas de avaliação que medem tanto a clareza da imagem quanto a preservação de detalhes. Essas métricas mostram quão bem um modelo limpa uma imagem sem perder informações visuais importantes.

Aqui estão métricas de avaliação comuns que ajudam a medir a qualidade da imagem e o desempenho da remoção de ruído:

• Mean Squared Error (MSE): Mede a diferença média quadrática entre a imagem original e a imagem com ruído removido. Destaca o quão perto a saída está da original em um nível de pixel. Valores de MSE mais baixos significam menos erros e um resultado mais preciso.
• Peak Signal-to-Noise Ratio (PSNR): Esta métrica compara a força do sinal da imagem original com o ruído restante, expresso em decibéis. É usada para ver quanto dos detalhes originais foram mantidos após a remoção de ruído. Valores de PSNR mais altos significam imagens mais nítidas e de maior qualidade.
• Structural Similarity Index Measure (SSIM): O SSIM avalia a estrutura, o brilho e o contraste para avaliar a semelhança entre a imagem com ruído removido e a original. Foca em como os humanos veem as imagens, não apenas em números brutos. Pontuações SSIM mais altas significam que a imagem parece mais natural e fiel à original.
• Métricas perceptuais: Essas métricas usam modelos de deep learning para julgar quão realista e natural uma imagem parece. Em vez de comparar pixels individuais, focam na aparência geral, textura e semelhança visual. Na maioria dos casos, pontuações mais baixas significam que a imagem parece mais próxima da original e mais visualmente agradável para os humanos.

Link to this sectionAplicações da remoção de ruído autossupervisionada#

Agora que temos uma melhor compreensão do que é a remoção de ruído, vamos explorar como a remoção de ruído de imagem autossupervisionada é aplicada em cenários do mundo real.

Link to this sectionUsando remoção de ruído autossupervisionada em astrofotografia#

Tirar fotos nítidas de estrelas e galáxias não é fácil. O céu noturno é escuro, então as câmeras frequentemente exigem longos tempos de exposição, o que pode introduzir ruído indesejado. Esse ruído pode borrar detalhes cósmicos finos e tornar sinais fracos mais difíceis de detectar.

Ferramentas tradicionais de remoção de ruído podem ajudar a reduzir o ruído, mas muitas vezes removem detalhes importantes junto com ele. A remoção de ruído autossupervisionada oferece uma alternativa mais inteligente. Ao aprender diretamente a partir de imagens com ruído, o modelo de IA pode reconhecer padrões que representam características reais e separá-los do ruído aleatório.

O resultado são imagens muito mais nítidas de objetos celestes como estrelas, galáxias e o Sol, revelando detalhes fracos que, de outra forma, passariam despercebidos. Também pode melhorar características astronômicas sutis, aprimorando a clareza da imagem e tornando os dados mais úteis para pesquisa científica.

Fig 3. A remoção de ruído de imagem pode aprimorar imagens de astrofotografia. (Fonte)

Link to this sectionRemoção de ruído autossupervisionada para imagens médicas#

Exames médicos como RM, TC e imagens de microscopia frequentemente captam ruído que pode tornar pequenos detalhes mais difíceis de ver. Isso pode ser um problema quando os médicos precisam detectar sinais precoces de doença ou rastrear mudanças ao longo do tempo.

O ruído de imagem pode vir do movimento do paciente, baixa força do sinal ou limites de quanta radiação pode ser usada. Para tornar os exames médicos mais nítidos, os pesquisadores exploraram métodos de remoção de ruído autossupervisionada como Noise2Self e outras abordagens semelhantes.

Esses modelos são treinados diretamente em imagens de RM cerebral com ruído, aprendendo os padrões de ruído por conta própria e limpando-os sem precisar de exemplos perfeitamente claros. As imagens processadas mostraram texturas mais nítidas e melhor contraste, tornando estruturas finas mais fáceis de identificar. Tais removedores de ruído alimentados por IA simplificam o fluxo de trabalho em imagens de diagnóstico e melhoram a eficiência da análise em tempo real.

Fig 4. Usando diferentes técnicas de remoção de ruído autossupervisionada em exames de RM cerebral. (Fonte)

Link to this sectionAprimorando sistemas de visão com remoção de ruído autossupervisionada#

Na maioria dos casos, a remoção de ruído tem um impacto significativo em uma ampla gama de aplicações de visão computacional. Ao remover ruído e distorções indesejados, produz dados de entrada mais limpos e consistentes para os modelos de Vision AI processarem.

Imagens mais nítidas levam a um desempenho aprimorado em tarefas de visão computacional como detecção de objetos, segmentação de instâncias e reconhecimento de imagem. Aqui estão alguns exemplos de aplicações onde modelos de Vision AI, como Ultralytics YOLO11 e Ultralytics YOLO26, podem se beneficiar da remoção de ruído:

• Inspeção industrial: A remoção de ruído impulsiona uma detecção mais precisa de defeitos ou anomalias de superfície em ambientes de fabricação, levando a um melhor controle de qualidade.
• Direção e navegação autônomas: Aprimora a detecção de objetos e obstáculos em condições desafiadoras, como baixa luminosidade, chuva ou neblina, melhorando a segurança e a confiabilidade geral.
• Vigilância e segurança: A remoção de ruído melhora a qualidade da imagem em feeds de vídeo de baixa luminosidade ou alta compressão, permitindo melhor identificação e rastreamento de objetos ou pessoas.
• Imagens subaquáticas: A remoção de ruído reduz o espalhamento e a distorção da luz, aprimorando a visibilidade e o reconhecimento de objetos em condições subaquáticas turvas.

Link to this sectionPrós e contras da remoção de ruído autossupervisionada#

Aqui estão alguns benefícios principais de usar a remoção de ruído autossupervisionada em sistemas de imagem:

• Adaptabilidade ao ruído: Os métodos de remoção de ruído autossupervisionada podem aprender diretamente a partir de dados com ruído, sem exigir referências limpas pareadas. Isso os torna altamente adaptáveis a uma ampla gama de níveis e tipos de ruído do mundo real, como ruído de sensor, desfoque de movimento ou interferência ambiental.
• Preservação de detalhes: Quando bem projetados, esses modelos preservam texturas finas e bordas que são essenciais para uma interpretação precisa da imagem. Abordagens como redes de "blind-spot" e aprendizagem baseada em máscara ajudam a manter informações estruturais enquanto reduzem o ruído.
• Menos pré-processamento: Ao aprender a mapear entradas com ruído para representações limpas usando apenas os dados disponíveis, o modelo minimiza a necessidade de filtragem manual, algoritmos de remoção de ruído criados manualmente ou conjuntos de dados de treinamento curados.

Apesar de seus benefícios, a remoção de ruído autossupervisionada também apresenta certas limitações. Aqui estão alguns fatores a considerar:

• Requisitos computacionais: As arquiteturas neurais profundas usadas para remoção de ruído autossupervisionada, especialmente modelos baseados em Transformer, podem exigir potência computacional e recursos de memória substanciais em comparação com técnicas de filtragem tradicionais.
• Complexidade do design do modelo: Alcançar resultados ideais requer uma seleção cuidadosa das configurações do modelo, como a estratégia de mascaramento e a função de perda, que podem variar de acordo com diferentes tipos de ruído.
• Desafios de avaliação: Métricas comuns de qualidade de imagem nem sempre correspondem ao quão natural ou realista uma imagem com ruído removido parece, por isso verificações visuais ou específicas da tarefa são frequentemente necessárias.

Link to this sectionPrincipais pontos#

A remoção de ruído autossupervisionada ajuda os modelos de IA a aprender diretamente a partir de imagens com ruído, produzindo resultados mais nítidos enquanto preserva detalhes finos. Funciona efetivamente em uma variedade de cenários desafiadores, como baixa luminosidade, alto ISO e imagens detalhadas. À medida que a IA continua a evoluir, tais técnicas provavelmente desempenharão um papel essencial em várias aplicações de visão computacional.

Junte-se à nossa comunidade e explore nosso repositório no GitHub para descobrir mais sobre IA. Se você está procurando construir seu próprio projeto de Vision AI, confira nossas opções de licenciamento. Explore mais sobre aplicações como IA na saúde e Vision AI no varejo visitando nossas páginas de soluções.