Apprentissage auto-supervisé pour le débruitage : une analyse étape par étape

Les appareils photo ne capturent pas toujours le monde tel que nous le voyons. Un portrait pris dans une faible luminosité ou la photo d'une voiture en mouvement rapide peut paraître granuleux, flou ou déformé.

Des capteurs lents, des environnements sombres et le mouvement peuvent introduire de minuscules taches de bruit qui adoucissent les contours et masquent des détails importants. Lorsque cette clarté est perdue, même les systèmes d'IA et d'apprentissage automatique avancés peuvent avoir du mal à comprendre ce qu'une image contient, car de nombreux systèmes intelligents dépendent de ces détails précis pour bien fonctionner.

Par exemple, la computer vision est une branche de l'intelligence artificielle qui permet aux machines d'interpréter des images et des vidéos. Mais pour ce faire avec précision, les modèles d'IA de vision ont besoin de données visuelles propres et de haute qualité pour apprendre.

Plus précisément, des modèles tels que Ultralytics YOLO11 et le futur Ultralytics YOLO26 prennent en charge des tâches telles que la détection d'objets, la segmentation d'instances et l'estimation de pose, et peuvent être entraînés sur mesure pour différents cas d'utilisation. Ces tâches reposent sur des indices visuels clairs tels que les contours, les textures, les couleurs et les détails structurels fins.

Lorsque le bruit occulte ces caractéristiques, le modèle reçoit des signaux d'entraînement plus faibles, ce qui rend plus difficile l'apprentissage de modèles précis. Par conséquent, même de faibles quantités de bruit peuvent réduire les performances dans des applications réelles.

Auparavant, nous avons examiné comment l'apprentissage auto-supervisé supprime le bruit des images. Dans cet article, nous allons approfondir le fonctionnement des techniques de débruitage auto-supervisé et voir comment elles aident à récupérer des informations visuelles significatives. C'est parti !

Types courants de bruit dans les images réelles#

Avant d'explorer comment l'apprentissage auto-supervisé est utilisé dans la réduction du bruit des images, revoyons d'abord pourquoi les images deviennent bruitées en premier lieu.

Les images d'objets et de scènes réels sont rarement parfaites. Un faible éclairage, une qualité de capteur limitée et un mouvement rapide peuvent introduire des perturbations aléatoires dans les pixels individuels à travers l'image. Ces perturbations au niveau du pixel, connues sous le nom de bruit, réduisent la clarté globale et rendent les détails importants plus difficiles à voir.

Lorsque le bruit masque les contours, les textures et les modèles subtils, les systèmes de vision par ordinateur ont du mal à reconnaître les objets ou à interpréter les scènes avec précision. Différentes conditions produisent différents types de bruit, chacun affectant l'image à sa manière.

Fig 1. Un exemple montrant comment le bruit peut augmenter l'incertitude dans une image. (Source)

Voici quelques-uns des types de bruit les plus courants trouvés dans les images :

• Bruit gaussien : Ce type de bruit apparaît sous la forme d'un grain doux et aléatoire causé par des interférences de capteur électronique ou des fluctuations thermiques. Il suit une distribution gaussienne (normale), où de petites variations de pixels brouillent les détails fins et réduisent la netteté globale.
• Bruit de Poisson : Également appelé bruit de grenaille, ce type de bruit se produit dans des conditions de faible luminosité ou avec des temps d'exposition courts. Sa variance augmente avec la luminosité, mais le bruit est souvent plus perceptible dans les régions plus sombres car moins de photons sont capturés, ce qui entraîne un rapport signal sur bruit plus faible.
• Bruit sel et poivre : Ce type de bruit apparaît sous la forme de pointes de pixels noires ou blanches nettes. Il est généralement causé par des erreurs de transmission, la corruption de bits ou des capteurs d'appareil photo défectueux, et entraîne souvent des valeurs de pixels manquantes ou corrompues.
• Bruit de speckle : Ce type de bruit apparaît sous forme de motifs granuleux semblables à des taches et est courant dans l'imagerie médicale, radar et ultrasonore. Il est causé par des interférences de signal et la diffusion, ce qui réduit le contraste et rend les contours plus difficiles à détecter.

Quand devrais-tu utiliser la réduction du bruit auto-supervisée ?#

Alors, qu'est-ce qui rend la réduction du bruit auto-supervisée spéciale ? Elle excelle dans les situations où des images propres et vérifiées n'existent tout simplement pas ou sont trop difficiles à capturer.

Cela se produit souvent en photographie en faible luminosité, en imagerie haute sensibilité ISO, en imagerie médicale et scientifique, ou dans tout environnement où le bruit est inévitable et où il est irréaliste de collecter des données de référence parfaites. Au lieu d'avoir besoin d'exemples propres, le modèle apprend directement à partir des images bruitées dont tu disposes déjà, ce qui le rend adaptable aux motifs de bruit spécifiques de ton appareil photo ou de ton capteur.

La réduction du bruit auto-supervisée est également une excellente option lorsque tu souhaites booster les performances des tâches de vision par ordinateur en aval, mais que ton jeu de données est rempli d'images incohérentes ou bruitées. En récupérant des contours, des textures et des structures plus clairs, ces méthodes aident des modèles comme YOLO à détecter, segmenter et comprendre les scènes de manière plus fiable. En bref, si tu travailles avec des données bruitées et que des images d'entraînement propres ne sont pas disponibles, la réduction du bruit auto-supervisée offre souvent la solution la plus pratique et la plus efficace.

Les techniques fondamentales propulsant la réduction du bruit auto-supervisée#

Comme nous l'avons vu précédemment, le débruitage auto-supervisé est une approche d'IA basée sur le deep learning qui permet aux modèles d'apprendre directement à partir d'images bruitées sans s'appuyer sur des étiquettes propres. Il s'appuie sur les principes de l'apprentissage auto-supervisé, où les modèles génèrent leurs propres signaux d'entraînement à partir des données elles-mêmes.

En d'autres termes, un modèle peut s'auto-instruire en utilisant des images bruitées à la fois comme entrée et comme source de son signal d'apprentissage. En comparant différentes versions corrompues de la même image ou en prédisant des pixels masqués, le modèle apprend quels motifs représentent une structure réelle et lesquels ne sont que du bruit. Grâce à une optimisation itérative et à la reconnaissance de motifs, le réseau améliore progressivement sa capacité à distinguer un contenu d'image significatif d'une variation aléatoire.

Fig 2. Une image brute et une image débruitée. (Source)

Cela est rendu possible grâce à des stratégies d'apprentissage spécifiques qui guident le modèle pour séparer la structure stable de l'image du bruit aléatoire. Ensuite, examinons de plus près les techniques et algorithmes fondamentaux qui rationalisent ce processus et la façon dont chaque approche aide les modèles à reconstruire des images plus propres et plus fiables.

Méthodes de réduction du bruit d'image par paires#

De nombreuses premières méthodes d'apprentissage auto-supervisé pour la réduction du bruit fonctionnaient en comparant deux versions bruitées de la même image. Puisque le bruit change de façon aléatoire à chaque fois qu'une image est capturée ou corrompue, mais que la structure réelle reste la même, ces différences peuvent être utilisées comme signal d'apprentissage pour un modèle.

Ces approches sont communément appelées méthodes de réduction du bruit d'image par paires car elles reposent sur l'utilisation ou la génération de paires d'images bruitées pendant l'entraînement. Par exemple, l'approche Noise2Noise (proposée par Jaakko Lehtinen et son équipe) entraîne un modèle en utilisant deux images indépendamment bruitées de la même scène. Étant donné que les modèles de bruit diffèrent entre les deux versions, le modèle apprend à identifier les détails cohérents qui représentent l'image réelle sous-jacente.

Fig 3. Fonctionnement de Noise2Noise (Source)

Au fil du temps, cela apprend au réseau à supprimer le bruit aléatoire et à préserver la structure réelle, même s'il ne voit jamais d'image de référence propre. Considère un scénario simple où tu prends deux photos d'une rue peu éclairée la nuit.

Chaque image contient les mêmes bâtiments, lumières et ombres, mais le bruit granuleux apparaît à des endroits différents. En comparant ces deux photos bruitées pendant l'entraînement, un modèle auto-supervisé peut apprendre quels motifs visuels sont stables et lesquels sont causés par le bruit, améliorant ainsi sa capacité à reconstruire des images plus propres.

Méthodes d'apprentissage auto-supervisé basées sur l'angle mort pour la réduction du bruit#

Alors que les méthodes par paires reposent sur la comparaison de deux versions différemment corrompues de la même image, les méthodes basées sur l'angle mort adoptent une approche différente. Elles permettent à un modèle d'apprendre à partir d'une seule image bruitée en masquant certains pixels sélectionnés afin que le réseau ne puisse pas voir leurs valeurs corrompues.

Le modèle doit ensuite prédire les pixels masqués en utilisant uniquement le contexte environnant. L'idée centrale est que le bruit est aléatoire, mais que la structure sous-jacente d'une image ne l'est pas.

En empêchant le modèle de copier la valeur bruitée d'un pixel, les méthodes basées sur l'angle mort l'encouragent à déduire ce que ce pixel devrait être en se basant sur des motifs d'image stables tels que les contours proches, les textures ou les gradients de couleur. Des techniques comme Noise2Void (introduite par Alexander Krull et son équipe) et Noise2Self (développée par Joshua Batson et Loïc Royer) implémentent ce principe en masquant des pixels individuels ou de petits voisinages et en entraînant le modèle à les reconstruire.

Des approches plus avancées, notamment Noise2Same et PN2V, améliorent la robustesse en appliquant des prédictions cohérentes sur plusieurs versions masquées ou en modélisant explicitement la distribution du bruit pour estimer l'incertitude. Comme ces méthodes ne nécessitent qu'une seule image bruitée, elles sont particulièrement utiles dans les domaines où la capture d'images propres ou appariées est peu pratique ou impossible, tels que la microscopie, l'astronomie, l'imagerie biomédicale ou la photographie en faible luminosité.

Méthodes de réduction du bruit prises en charge par Transformer#

La plupart des méthodes de réduction du bruit auto-supervisées par paires et basées sur l'angle mort reposent sur des réseaux neuronaux convolutifs (CNN) ou des réseaux de réduction du bruit. Les CNN sont une excellente option pour ces approches car ils se concentrent sur des motifs locaux, à savoir les contours, les textures et les petits détails.

Des architectures comme U-Net sont largement utilisées car elles combinent des caractéristiques fines avec des informations à plusieurs échelles. Cependant, les CNN fonctionnent principalement dans des voisinages limités, ce qui signifie qu'ils peuvent manquer des relations importantes qui s'étendent sur de plus grandes régions d'une image.

Des méthodes de réduction du bruit de pointe prises en charge par Transformer ont été introduites pour remédier à cette limitation. Au lieu de regarder uniquement les pixels proches, la méthode proposée utilise des mécanismes d'attention pour comprendre comment les différentes parties d'une image se rapportent les unes aux autres.

Certains modèles utilisent une attention globale complète, tandis que d'autres utilisent une attention basée sur des fenêtres ou hiérarchique pour réduire le calcul, mais en général, ils sont conçus pour capturer une structure à longue portée que les CNN seuls ne peuvent pas. Cette vision plus large aide le modèle à restaurer des textures répétitives, des surfaces lisses ou de grands objets qui nécessitent des informations provenant de toute l'image.

Autres méthodes de réduction du bruit d'image#

Outre les techniques auto-supervisées, il existe également plusieurs autres façons de nettoyer les images bruitées. Les méthodes traditionnelles, comme le filtrage bilatéral, la réduction du bruit par ondelettes et les moyennes non locales, utilisent des règles mathématiques simples pour lisser le bruit tout en essayant de conserver les détails importants.

Pendant ce temps, des approches d'apprentissage profond existent également, y compris des modèles supervisés qui apprennent à partir de paires d'images propres-bruitées et des réseaux antagonistes génératifs (GAN) qui génèrent des résultats plus nets et plus réalistes. Cependant, ces méthodes nécessitent généralement une meilleure qualité d'image pour l'entraînement.

Un regard étape par étape sur le fonctionnement de la réduction du bruit d'image auto-supervisée#

Puisque nous venons de passer en revue plusieurs techniques différentes, tu te demandes peut-être si chacune fonctionne d'une manière complètement différente, étant donné qu'elles utilisent leurs propres architectures. Cependant, elles suivent toutes un pipeline similaire qui commence par la préparation des données et se termine par l'évaluation du modèle.

Ensuite, examinons de plus près le fonctionnement global du processus de réduction du bruit d'image auto-supervisé, étape par étape.

Étape 1 : Prétraitement et normalisation#

Avant que le modèle puisse commencer à apprendre à partir d'images bruitées, la première étape est de s'assurer que toutes les images paraissent cohérentes. Les photos réelles peuvent varier beaucoup.

Certaines images peuvent être trop lumineuses, d'autres trop sombres, et certaines peuvent avoir des couleurs légèrement décalées. Si nous envoyons ces variations directement dans un modèle, il devient plus difficile pour lui de se concentrer sur l'apprentissage de ce à quoi ressemble le bruit.

Pour gérer cela, chaque image passe par une normalisation et un prétraitement de base. Cela peut inclure la mise à l'échelle des valeurs de pixels dans une plage standard, la correction des variations d'intensité, ou le recadrage et le redimensionnement. L'essentiel est que le modèle reçoive des données propres qui peuvent être utilisées comme des entrées stables et comparables.

Étape 2 : Création d'un signal d'entraînement auto-supervisé#

Une fois que les images ont été normalisées, l'étape suivante consiste à créer un signal d'entraînement qui permet au modèle d'apprendre sans jamais voir une image propre. Les méthodes de réduction du bruit auto-supervisées font cela en garantissant que le modèle ne peut pas simplement copier les valeurs de pixels bruitées qu'il reçoit.

Au lieu de cela, elles créent des situations où le modèle doit s'appuyer sur le contexte environnant de l'image, qui contient une structure stable, plutôt que sur le bruit imprévisible. Différentes méthodes y parviennent de manières légèrement différentes, mais l'idée centrale est la même.

Certaines approches masquent temporairement ou cachent certains pixels pour que le modèle doive les déduire de leurs voisins, tandis que d'autres génèrent une version séparément corrompue de la même image bruitée pour que l'entrée et la cible contiennent un bruit indépendant. Dans les deux cas, l'image cible porte des informations structurelles significatives mais empêche le réseau d'accéder à la valeur bruitée originale du pixel qu'il est censé prédire.

Parce que le bruit change de façon aléatoire tandis que l'image sous-jacente reste cohérente, cette configuration encourage naturellement le modèle à apprendre à quoi ressemble la vraie structure et à ignorer le bruit qui varie d'une version à l'autre.

Étape 3 : Apprentissage de la réduction du bruit pour récupérer la structure de l'image#

Avec le signal d'entraînement en place, le modèle peut commencer à apprendre à séparer la structure significative de l'image du bruit grâce à l'entraînement du modèle. Chaque fois qu'il prédit un pixel masqué ou re-corrompu, il doit s'appuyer sur le contexte environnant au lieu de la valeur bruitée qui occupait initialement cet emplacement.

Au fil de nombreuses itérations ou époques, cela apprend au réseau à reconnaître les types de motifs qui restent stables à travers une image, tels que les contours, les textures et les surfaces lisses. Il apprend également à ignorer les fluctuations aléatoires qui caractérisent le bruit.

Par exemple, considère une photo à faible luminosité où une surface semble extrêmement granuleuse. Bien que le bruit varie d'un pixel à l'autre, la surface sous-jacente est toujours lisse. En déduisant à plusieurs reprises les pixels cachés dans de telles régions, le modèle devient progressivement meilleur pour identifier le motif stable sous le bruit et le reconstruire plus proprement.

Grâce au processus d'entraînement du modèle, le réseau apprend une représentation interne de la structure de l'image. Cela permet au modèle de récupérer des détails cohérents même lorsque l'entrée est fortement corrompue.

Étape 4 : Validation et résultats de réduction du bruit#

Après que le modèle a appris à prédire les pixels cachés ou re-corrompus, l'étape finale est d'évaluer sa performance sur des images complètes. Lors des tests, le modèle reçoit une image bruitée entière et produit une version complète dont le bruit a été réduit en se basant sur ce qu'il a appris concernant la structure de l'image. Pour mesurer l'efficacité de ce processus, la sortie est comparée à des images de référence propres ou à des jeux de données de référence standards.

Deux mesures couramment utilisées sont le PSNR (Peak Signal-to-Noise Ratio), qui mesure la proximité de la reconstruction par rapport à la vérité terrain propre, et le SSIM (Structural Similarity Index), qui évalue dans quelle mesure les caractéristiques importantes telles que les contours et les textures sont préservées. Des scores plus élevés indiquent généralement une réduction du bruit plus précise et visuellement fiable.

Jeux de données d'images utilisés pour l'entraînement et l'étalonnage#

La recherche sur la réduction du bruit auto-supervisée, apparaissant dans des journaux IEEE et des conférences CVF, entre autres, CVPR, ICCV et ECCV, ainsi que largement diffusée sur arXiv, repose souvent sur un mélange de jeux de données synthétiques et réels pour évaluer la performance des méthodes d'apprentissage profond dans des conditions contrôlées et pratiques. D'un côté, les jeux de données synthétiques commencent par des images propres et ajoutent un bruit artificiel, ce qui facilite la comparaison des méthodes en utilisant des mesures comme le PSNR et le SSIM.

Voici quelques jeux de données populaires couramment utilisés avec du bruit synthétique ajouté pour l'étalonnage :

• Kodak24 : Ce jeu de données fournit des photographies de scènes naturelles de haute qualité couramment utilisées pour comparer visuellement les résultats de débruitage.
• DIV2K : Ce jeu de données haute résolution contient diverses images détaillées utilisées pour évaluer la fidélité des textures et la qualité globale de la restauration.

Les jeux de données bruités du monde réel, d'autre part, contiennent des images capturées directement depuis des capteurs d'appareil photo sous une faible luminosité, un ISO élevé ou d'autres conditions difficiles. Ces jeux de données testent si un modèle peut gérer un bruit complexe et non gaussien qui ne peut pas être facilement simulé.

Voici quelques jeux de données bruités réels populaires :

• SIDD : Ce jeu de données fournit de véritables paires d'images bruitées et propres capturées avec des capteurs de smartphones dans divers environnements d'éclairage.
• DND : Il comprend des photographies à sensibilité ISO élevée qui capturent les motifs de bruit de capteur réalistes que l'on trouve dans les appareils photo grand public.

Fig 4. Un exemple du jeu de données DND. (Source)

Facteurs à prendre en compte lors de l'entraînement d'un modèle de réduction du bruit auto-supervisé#

Voici quelques facteurs et limitations à prendre en compte si tu vas entraîner un modèle de réduction du bruit auto-supervisé basé sur l'apprentissage profond :

• Fais correspondre la distribution du bruit : Les images bruitées utilisées pour l'entraînement doivent refléter le même bruit que le modèle rencontrera en utilisation réelle ; un bruit mal assorti conduit à une mauvaise généralisation.
• Assure la diversité des données d'entraînement : Une variation limitée peut provoquer un surapprentissage ou un lissage excessif dans des textures complexes.
• Sois conscient des limitations liées au type de bruit : Les méthodes auto-supervisées ont plus de mal avec le bruit structuré, corrélé ou non aléatoire.
• Teste à travers différents appareils ou capteurs : La performance de réduction du bruit peut varier considérablement d'un appareil photo ou d'un système d'imagerie à l'autre.

Points clés#

La réduction du bruit auto-supervisée offre aux passionnés d'IA un moyen pratique de nettoyer les images en utilisant uniquement les données bruitées que nous possédons déjà. En apprenant à reconnaître la structure réelle sous le bruit, ces méthodes peuvent récupérer des détails visuels importants. À mesure que la technologie de réduction du bruit continue de s'améliorer, elle rendra probablement un large éventail de tâches de vision par ordinateur plus fiable dans les contextes quotidiens.

Rejoins notre communauté en pleine croissance ! Plonge dans notre dépôt GitHub pour en savoir plus sur l'IA. Si tu cherches à créer des solutions de computer vision, consulte nos options de licence. Découvre les avantages de la computer vision dans le secteur de la vente au détail et vois comment l'IA dans la fabrication fait toute la différence !