Apprentissage auto-supervisé pour le débruitage : une analyse étape par étape

Les appareils photo ne capturent pas toujours le monde tel que nous le voyons. Un portrait pris dans une faible luminosité ou la photo d'une voiture en mouvement rapide peut paraître granuleux, flou ou déformé.

Des capteurs lents, des environnements sombres et le mouvement peuvent introduire de minuscules taches de bruit qui adoucissent les contours et masquent des détails importants. Lorsque cette clarté est perdue, même les systèmes d'IA et d'apprentissage automatique avancés peuvent avoir du mal à comprendre ce qu'une image contient, car de nombreux systèmes intelligents dépendent de ces détails précis pour bien fonctionner.

Par exemple, la vision par ordinateur est une branche de l'intelligence artificielle qui permet aux machines d'interpréter des images et des vidéos. Mais pour le faire avec précision, les modèles d'IA de vision ont besoin de données visuelles propres et de haute qualité pour apprendre.

Plus précisément, des modèles comme Ultralytics YOLO11 et le futur Ultralytics YOLO26 prennent en charge des tâches telles que la détection d'objets, la segmentation d'instances et l'estimation de pose, et peuvent être entraînés sur mesure pour différents cas d'utilisation. Ces tâches reposent sur des repères visuels clairs comme les contours, les textures, les couleurs et les détails structurels fins.

Lorsque le bruit occulte ces caractéristiques, le modèle reçoit des signaux d'entraînement plus faibles, ce qui rend plus difficile l'apprentissage de modèles précis. Par conséquent, même de faibles quantités de bruit peuvent réduire les performances dans des applications réelles.

Précédemment, nous avons examiné comment l'apprentissage auto-supervisé réduit le bruit des images. Dans cet article, nous approfondirons le fonctionnement des techniques de réduction du bruit auto-supervisées et la façon dont elles aident à récupérer des informations visuelles significatives. Commençons !

Link to this sectionTypes courants de bruit dans les images réelles#

Avant d'explorer comment l'apprentissage auto-supervisé est utilisé dans la réduction du bruit des images, revoyons d'abord pourquoi les images deviennent bruitées en premier lieu.

Les images d'objets et de scènes réels sont rarement parfaites. Un faible éclairage, une qualité de capteur limitée et un mouvement rapide peuvent introduire des perturbations aléatoires dans les pixels individuels à travers l'image. Ces perturbations au niveau du pixel, connues sous le nom de bruit, réduisent la clarté globale et rendent les détails importants plus difficiles à voir.

Lorsque le bruit masque les contours, les textures et les modèles subtils, les systèmes de vision par ordinateur ont du mal à reconnaître les objets ou à interpréter les scènes avec précision. Différentes conditions produisent différents types de bruit, chacun affectant l'image à sa manière.

Fig 1. Un exemple de la façon dont le bruit peut entraîner une incertitude accrue dans une image. (Source)

Voici quelques-uns des types de bruit les plus courants trouvés dans les images :

• Bruit gaussien : Ce type de bruit apparaît sous la forme d'un grain doux et aléatoire causé par des interférences de capteur électronique ou des fluctuations thermiques. Il suit une distribution gaussienne (normale), où de petites variations de pixels brouillent les détails fins et réduisent la netteté globale.
• Bruit de Poisson : Également appelé bruit de grenaille, ce type de bruit se produit dans des conditions de faible luminosité ou avec des temps d'exposition courts. Sa variance augmente avec la luminosité, mais le bruit est souvent plus perceptible dans les régions plus sombres car moins de photons sont capturés, ce qui entraîne un rapport signal sur bruit plus faible.
• Bruit sel et poivre : Ce type de bruit apparaît sous la forme de pointes de pixels noires ou blanches nettes. Il est généralement causé par des erreurs de transmission, la corruption de bits ou des capteurs d'appareil photo défectueux, et entraîne souvent des valeurs de pixels manquantes ou corrompues.
• Bruit de speckle : Ce type de bruit apparaît sous forme de motifs granuleux semblables à des taches et est courant dans l'imagerie médicale, radar et ultrasonore. Il est causé par des interférences de signal et la diffusion, ce qui réduit le contraste et rend les contours plus difficiles à détecter.

Link to this sectionQuand devrais-tu utiliser la réduction du bruit auto-supervisée ?#

Alors, qu'est-ce qui rend la réduction du bruit auto-supervisée spéciale ? Elle excelle dans les situations où des images propres et vérifiées n'existent tout simplement pas ou sont trop difficiles à capturer.

Cela arrive souvent en photographie à faible luminosité, en imagerie haute sensibilité ISO, dans l'imagerie médicale et scientifique, ou dans tout environnement où le bruit est inévitable et où collecter des données de référence parfaites est irréaliste. Au lieu d'avoir besoin d'exemples propres, le modèle apprend directement à partir des images bruitées que tu possèdes déjà, ce qui le rend adaptable aux modèles de bruit spécifiques de ton appareil photo ou de ton capteur.

La réduction du bruit auto-supervisée est également une excellente option lorsque tu souhaites booster les performances des tâches de vision par ordinateur en aval, mais que ton jeu de données est rempli d'images incohérentes ou bruitées. En récupérant des contours, des textures et des structures plus clairs, ces méthodes aident des modèles comme YOLO à détecter, segmenter et comprendre les scènes de manière plus fiable. En bref, si tu travailles avec des données bruitées et que des images d'entraînement propres ne sont pas disponibles, la réduction du bruit auto-supervisée offre souvent la solution la plus pratique et la plus efficace.

Link to this sectionLes techniques fondamentales propulsant la réduction du bruit auto-supervisée#

Comme nous l'avons vu précédemment, la réduction du bruit auto-supervisée est une approche d'IA basée sur l'apprentissage profond qui permet aux modèles d'apprendre directement à partir d'images bruitées sans compter sur des étiquettes propres. Elle s'appuie sur les principes de l'apprentissage auto-supervisé, où les modèles génèrent leurs propres signaux d'entraînement à partir des données elles-mêmes.

En d'autres termes, un modèle peut s'auto-instruire en utilisant des images bruitées à la fois comme entrée et comme source de son signal d'apprentissage. En comparant différentes versions corrompues de la même image ou en prédisant des pixels masqués, le modèle apprend quels motifs représentent une structure réelle et lesquels ne sont que du bruit. Grâce à une optimisation itérative et à la reconnaissance de motifs, le réseau améliore progressivement sa capacité à distinguer un contenu d'image significatif d'une variation aléatoire.

Fig 2. Une image brute et une image dont le bruit a été réduit. (Source)

Cela est rendu possible grâce à des stratégies d'apprentissage spécifiques qui guident le modèle pour séparer la structure stable de l'image du bruit aléatoire. Ensuite, examinons de plus près les techniques et algorithmes fondamentaux qui rationalisent ce processus et la façon dont chaque approche aide les modèles à reconstruire des images plus propres et plus fiables.

Link to this sectionMéthodes de réduction du bruit d'image par paires#

De nombreuses premières méthodes d'apprentissage auto-supervisé pour la réduction du bruit fonctionnaient en comparant deux versions bruitées de la même image. Puisque le bruit change de façon aléatoire à chaque fois qu'une image est capturée ou corrompue, mais que la structure réelle reste la même, ces différences peuvent être utilisées comme signal d'apprentissage pour un modèle.

Ces approches sont communément appelées méthodes de réduction du bruit d'image par paires car elles reposent sur l'utilisation ou la génération de paires d'images bruitées pendant l'entraînement. Par exemple, l'approche Noise2Noise (proposée par Jaakko Lehtinen et son équipe) entraîne un modèle en utilisant deux images indépendamment bruitées de la même scène. Étant donné que les modèles de bruit diffèrent entre les deux versions, le modèle apprend à identifier les détails cohérents qui représentent l'image réelle sous-jacente.

Fig 3. Comment fonctionne Noise2Noise (Source)

Au fil du temps, cela apprend au réseau à supprimer le bruit aléatoire et à préserver la structure réelle, même s'il ne voit jamais d'image de référence propre. Considère un scénario simple où tu prends deux photos d'une rue peu éclairée la nuit.

Chaque image contient les mêmes bâtiments, lumières et ombres, mais le bruit granuleux apparaît à des endroits différents. En comparant ces deux photos bruitées pendant l'entraînement, un modèle auto-supervisé peut apprendre quels motifs visuels sont stables et lesquels sont causés par le bruit, améliorant ainsi sa capacité à reconstruire des images plus propres.

Link to this sectionMéthodes d'apprentissage auto-supervisé basées sur l'angle mort pour la réduction du bruit#

Alors que les méthodes par paires reposent sur la comparaison de deux versions différemment corrompues de la même image, les méthodes basées sur l'angle mort adoptent une approche différente. Elles permettent à un modèle d'apprendre à partir d'une seule image bruitée en masquant certains pixels sélectionnés afin que le réseau ne puisse pas voir leurs valeurs corrompues.

Le modèle doit ensuite prédire les pixels masqués en utilisant uniquement le contexte environnant. L'idée centrale est que le bruit est aléatoire, mais que la structure sous-jacente d'une image ne l'est pas.

En empêchant le modèle de copier la valeur bruitée d'un pixel, les méthodes basées sur l'angle mort l'encouragent à déduire ce que ce pixel devrait être en se basant sur des motifs d'image stables tels que les contours proches, les textures ou les gradients de couleur. Des techniques comme Noise2Void (introduite par Alexander Krull et son équipe) et Noise2Self (développée par Joshua Batson et Loïc Royer) implémentent ce principe en masquant des pixels individuels ou de petits voisinages et en entraînant le modèle à les reconstruire.

Des approches plus avancées, incluant Noise2Same et PN2V, améliorent la robustesse en imposant des prédictions cohérentes à travers de multiples versions masquées ou en modélisant explicitement la distribution du bruit pour estimer l'incertitude. Comme ces méthodes ne nécessitent qu'une seule image bruitée, elles sont particulièrement utiles dans des domaines où capturer des images propres ou appariées est peu pratique ou impossible, comme la microscopie, l'astronomie, l'imagerie biomédicale ou la photographie à faible luminosité.

Link to this sectionMéthodes de réduction du bruit prises en charge par Transformer#

La plupart des méthodes de réduction du bruit auto-supervisées par paires et basées sur l'angle mort reposent sur des réseaux neuronaux convolutifs (CNN) ou des réseaux de réduction du bruit. Les CNN sont une excellente option pour ces approches car ils se concentrent sur des motifs locaux, à savoir les contours, les textures et les petits détails.

Des architectures comme U-Net sont largement utilisées car elles combinent des caractéristiques fines avec des informations multi-échelles. Cependant, les CNN opèrent principalement dans des voisinages limités, ce qui signifie qu'ils peuvent manquer des relations importantes qui s'étendent sur de plus grandes régions d'une image.

Des méthodes de réduction du bruit de pointe prises en charge par Transformer ont été introduites pour remédier à cette limitation. Au lieu de regarder uniquement les pixels proches, la méthode proposée utilise des mécanismes d'attention pour comprendre comment les différentes parties d'une image se rapportent les unes aux autres.

Certains modèles utilisent une attention globale complète, tandis que d'autres utilisent une attention basée sur des fenêtres ou hiérarchique pour réduire le calcul, mais en général, ils sont conçus pour capturer une structure à longue portée que les CNN seuls ne peuvent pas. Cette vision plus large aide le modèle à restaurer des textures répétitives, des surfaces lisses ou de grands objets qui nécessitent des informations provenant de toute l'image.

Link to this sectionAutres méthodes de réduction du bruit d'image#

Outre les techniques auto-supervisées, il existe également plusieurs autres façons de nettoyer les images bruitées. Les méthodes traditionnelles, comme le filtrage bilatéral, la réduction du bruit par ondelettes et les moyennes non locales, utilisent des règles mathématiques simples pour lisser le bruit tout en essayant de conserver les détails importants.

Pendant ce temps, des approches d'apprentissage profond existent également, y compris des modèles supervisés qui apprennent à partir de paires d'images propres-bruitées et des réseaux antagonistes génératifs (GAN) qui génèrent des résultats plus nets et plus réalistes. Cependant, ces méthodes nécessitent généralement une meilleure qualité d'image pour l'entraînement.

Link to this sectionUn regard étape par étape sur le fonctionnement de la réduction du bruit d'image auto-supervisée#

Puisque nous venons de passer en revue plusieurs techniques différentes, tu te demandes peut-être si chacune fonctionne d'une manière complètement différente, étant donné qu'elles utilisent leurs propres architectures. Cependant, elles suivent toutes un pipeline similaire qui commence par la préparation des données et se termine par l'évaluation du modèle.

Ensuite, examinons de plus près le fonctionnement global du processus de réduction du bruit d'image auto-supervisé, étape par étape.

Link to this sectionÉtape 1 : Prétraitement et normalisation#

Avant que le modèle puisse commencer à apprendre à partir d'images bruitées, la première étape est de s'assurer que toutes les images paraissent cohérentes. Les photos réelles peuvent varier beaucoup.

Certaines images peuvent être trop lumineuses, d'autres trop sombres, et certaines peuvent avoir des couleurs légèrement décalées. Si nous envoyons ces variations directement dans un modèle, il devient plus difficile pour lui de se concentrer sur l'apprentissage de ce à quoi ressemble le bruit.

Pour gérer cela, chaque image passe par une normalisation et un prétraitement de base. Cela pourrait inclure la mise à l'échelle des valeurs de pixels dans une plage standard, la correction des variations d'intensité, ou le recadrage et le redimensionnement. La clé est que le modèle reçoit des données propres qui peuvent être utilisées comme entrées stables et comparables.

Link to this sectionÉtape 2 : Création d'un signal d'entraînement auto-supervisé#

Une fois que les images ont été normalisées, l'étape suivante consiste à créer un signal d'entraînement qui permet au modèle d'apprendre sans jamais voir une image propre. Les méthodes de réduction du bruit auto-supervisées font cela en garantissant que le modèle ne peut pas simplement copier les valeurs de pixels bruitées qu'il reçoit.

Au lieu de cela, elles créent des situations où le modèle doit s'appuyer sur le contexte environnant de l'image, qui contient une structure stable, plutôt que sur le bruit imprévisible. Différentes méthodes y parviennent de manières légèrement différentes, mais l'idée centrale est la même.

Certaines approches masquent temporairement ou cachent certains pixels pour que le modèle doive les déduire de leurs voisins, tandis que d'autres génèrent une version séparément corrompue de la même image bruitée pour que l'entrée et la cible contiennent un bruit indépendant. Dans les deux cas, l'image cible porte des informations structurelles significatives mais empêche le réseau d'accéder à la valeur bruitée originale du pixel qu'il est censé prédire.

Parce que le bruit change de façon aléatoire tandis que l'image sous-jacente reste cohérente, cette configuration encourage naturellement le modèle à apprendre à quoi ressemble la vraie structure et à ignorer le bruit qui varie d'une version à l'autre.

Link to this sectionÉtape 3 : Apprentissage de la réduction du bruit pour récupérer la structure de l'image#

Avec le signal d'entraînement en place, le modèle peut commencer à apprendre à séparer la structure significative de l'image du bruit grâce à l'entraînement du modèle. Chaque fois qu'il prédit un pixel masqué ou re-corrompu, il doit s'appuyer sur le contexte environnant au lieu de la valeur bruitée qui occupait initialement cet emplacement.

Au fil de nombreuses itérations ou époques, cela apprend au réseau à reconnaître les types de motifs qui restent stables à travers une image, tels que les contours, les textures et les surfaces lisses. Il apprend également à ignorer les fluctuations aléatoires qui caractérisent le bruit.

Par exemple, considère une photo à faible luminosité où une surface semble extrêmement granuleuse. Bien que le bruit varie d'un pixel à l'autre, la surface sous-jacente est toujours lisse. En déduisant à plusieurs reprises les pixels cachés dans de telles régions, le modèle devient progressivement meilleur pour identifier le motif stable sous le bruit et le reconstruire plus proprement.

Grâce au processus d'entraînement du modèle, le réseau apprend une représentation interne de la structure de l'image. Cela permet au modèle de récupérer des détails cohérents même lorsque l'entrée est fortement corrompue.

Link to this sectionÉtape 4 : Validation et résultats de réduction du bruit#

Après que le modèle a appris à prédire les pixels cachés ou re-corrompus, l'étape finale est d'évaluer sa performance sur des images complètes. Lors des tests, le modèle reçoit une image bruitée entière et produit une version complète dont le bruit a été réduit en se basant sur ce qu'il a appris concernant la structure de l'image. Pour mesurer l'efficacité de ce processus, la sortie est comparée à des images de référence propres ou à des jeux de données de référence standards.

Deux mesures couramment utilisées sont le PSNR (Peak Signal-to-Noise Ratio), qui mesure la proximité de la reconstruction par rapport à la vérité terrain propre, et le SSIM (Structural Similarity Index), qui évalue dans quelle mesure les caractéristiques importantes telles que les contours et les textures sont préservées. Des scores plus élevés indiquent généralement une réduction du bruit plus précise et visuellement fiable.

Link to this sectionJeux de données d'images utilisés pour l'entraînement et l'étalonnage#

La recherche sur la réduction du bruit auto-supervisée, apparaissant dans des journaux IEEE et des conférences CVF, entre autres, CVPR, ICCV et ECCV, ainsi que largement diffusée sur arXiv, repose souvent sur un mélange de jeux de données synthétiques et réels pour évaluer la performance des méthodes d'apprentissage profond dans des conditions contrôlées et pratiques. D'un côté, les jeux de données synthétiques commencent par des images propres et ajoutent un bruit artificiel, ce qui facilite la comparaison des méthodes en utilisant des mesures comme le PSNR et le SSIM.

Voici quelques jeux de données populaires couramment utilisés avec du bruit synthétique ajouté pour l'étalonnage :

• Kodak24: Ce jeu de données fournit des photographies de scènes naturelles de haute qualité couramment utilisées pour comparer visuellement les résultats de réduction du bruit.
• DIV2K: Ce jeu de données haute résolution contient des images diverses et détaillées utilisées pour évaluer la fidélité de la texture et la qualité globale de la restauration.

Les jeux de données bruités du monde réel, d'autre part, contiennent des images capturées directement depuis des capteurs d'appareil photo sous une faible luminosité, un ISO élevé ou d'autres conditions difficiles. Ces jeux de données testent si un modèle peut gérer un bruit complexe et non gaussien qui ne peut pas être facilement simulé.

Voici quelques jeux de données bruités réels populaires :

• SIDD: Ce jeu de données fournit des paires d'images réelles bruitées et propres capturées avec des capteurs de smartphone dans une gamme d'environnements d'éclairage.
• DND: Il inclut des photographies ISO élevées qui capturent des modèles de bruit de capteur réalistes trouvés dans les appareils photo grand public.

Fig 4. Un exemple du jeu de données DND. (Source)

Link to this sectionFacteurs à prendre en compte lors de l'entraînement d'un modèle de réduction du bruit auto-supervisé#

Voici quelques facteurs et limitations à prendre en compte si tu vas entraîner un modèle de réduction du bruit auto-supervisé basé sur l'apprentissage profond :

• Fais correspondre la distribution du bruit : Les images bruitées utilisées pour l'entraînement doivent refléter le même bruit que le modèle rencontrera en utilisation réelle ; un bruit mal assorti conduit à une mauvaise généralisation.
• Assure la diversité des données d'entraînement : Une variation limitée peut provoquer un surapprentissage ou un lissage excessif dans des textures complexes.
• Sois conscient des limitations liées au type de bruit : Les méthodes auto-supervisées ont plus de mal avec le bruit structuré, corrélé ou non aléatoire.
• Teste à travers différents appareils ou capteurs : La performance de réduction du bruit peut varier considérablement d'un appareil photo ou d'un système d'imagerie à l'autre.

Link to this sectionPoints clés#

La réduction du bruit auto-supervisée offre aux passionnés d'IA un moyen pratique de nettoyer les images en utilisant uniquement les données bruitées que nous possédons déjà. En apprenant à reconnaître la structure réelle sous le bruit, ces méthodes peuvent récupérer des détails visuels importants. À mesure que la technologie de réduction du bruit continue de s'améliorer, elle rendra probablement un large éventail de tâches de vision par ordinateur plus fiable dans les contextes quotidiens.

Rejoins notre communauté grandissante ! Plonge dans notre dépôt GitHub pour en savoir plus sur l'IA. Si tu cherches à créer des solutions de vision par ordinateur, consulte nos options de licence. Explore les avantages de la vision par ordinateur dans la vente au détail et vois comment l'IA dans la fabrication fait la différence !