Utiliser l'apprentissage auto-supervisé pour débruiter les images

Les images font partie de notre quotidien, des photos que nous prenons aux vidéos enregistrées par des caméras dans les lieux publics. Elles contiennent des informations précieuses, et une technologie de pointe permet d'analyser et d'interpréter ces données.

En particulier, la vision par ordinateur, une branche de l'intelligence artificielle (IA), permet aux machines de traiter des informations visuelles et de comprendre ce qu'elles voient, tout comme nous le faisons. Cependant, dans les applications réelles, les images sont souvent loin d'être parfaites.

Le bruit dans les images, causé par la pluie, la poussière, une faible luminosité ou les limites des capteurs, peut masquer des détails importants, rendant plus difficile pour les modèles de Vision AI la détection précise d'objets ou l'interprétation de scènes. Le débruitage d'image aide à réduire ce bruit, permettant aux modèles de Vision AI de voir les détails plus clairement et de faire de meilleures prédictions.

Fig 1. Un exemple de débruitage d'image. (Source)

Traditionnellement, le débruitage d'image reposait sur l'apprentissage supervisé, où les modèles sont entraînés à l'aide de paires d'images bruitées et propres pour apprendre à supprimer le bruit. Cependant, collecter des images de référence parfaitement propres n'est pas toujours pratique.

Pour relever ce défi, des chercheurs ont développé des débruiteurs d'image auto-supervisés. Ils visent à entraîner des modèles d'IA à apprendre directement à partir des données, en créant leurs propres signaux d'apprentissage pour éliminer le bruit et conserver les détails importants sans avoir besoin d'images de référence propres.

Dans cet article, nous examinerons de plus près les débruiteurs d'image auto-supervisés, leur fonctionnement, les techniques clés qui les sous-tendent et leurs applications réelles. Commençons !

Link to this sectionQu'est-ce que le débruitage d'image auto-supervisé ?#

Les images bruitées peuvent rendre difficile pour les modèles de Vision AI l'interprétation du contenu d'une image. Une photo prise dans des conditions de faible luminosité, par exemple, peut apparaître granuleuse ou floue, masquant des caractéristiques subtiles qui aident un modèle à identifier les objets avec précision.

Dans le débruitage basé sur l'apprentissage supervisé, les modèles sont entraînés à l'aide de paires d'images, une bruitée et une propre, pour apprendre à supprimer le bruit indésirable. Bien que cette approche fonctionne bien, la collecte de données de référence parfaitement propres est souvent longue et difficile dans les scénarios réels.

C'est pourquoi les chercheurs se sont tournés vers le débruitage d'image auto-supervisé. Le débruitage d'image auto-supervisé repose sur le concept de l'apprentissage auto-supervisé, où les modèles s'auto-enseignent en créant leurs propres signaux d'apprentissage à partir des données.

Puisque cette méthode ne dépend pas de grands jeux de données étiquetés, le débruitage auto-supervisé est plus rapide, plus évolutif et plus facile à appliquer dans des domaines tels que la photographie en basse lumière, l'imagerie médicale et l'analyse d'images satellites, où les images de référence propres sont souvent indisponibles.

Au lieu de compter sur des images de référence propres, cette approche s'entraîne directement sur des données bruitées en prédisant les pixels masqués ou en reconstruisant les parties manquantes. Grâce à ce processus, le modèle apprend à faire la distinction entre les détails significatifs de l'image et le bruit aléatoire, conduisant à des résultats plus clairs et plus précis.

Bien que cela puisse sembler similaire à l'apprentissage non supervisé, l'apprentissage auto-supervisé est en fait un cas particulier de celui-ci. La distinction clé est que dans l'apprentissage auto-supervisé, le modèle crée ses propres étiquettes ou signaux d'entraînement à partir des données pour apprendre une tâche spécifique. En revanche, l'apprentissage non supervisé se concentre sur la recherche de modèles ou de structures cachés dans les données sans aucune tâche explicite ou objectif prédéfini.

Link to this sectionStratégies d'apprentissage dans le débruitage auto-supervisé#

En ce qui concerne le débruitage auto-supervisé, il existe plusieurs façons dont l'apprentissage se produit. Certains modèles de débruitage auto-supervisés remplissent les pixels masqués ou manquants, tandis que d'autres comparent plusieurs versions bruitées de la même image pour trouver des détails cohérents.

Par exemple, une méthode populaire connue sous le nom d'apprentissage par angle mort (blind-spot learning) se concentre sur l'entraînement du modèle de débruitage à ignorer le pixel qu'il reconstruit et à s'appuyer plutôt sur le contexte environnant. Au fil du temps, le modèle reconstruit des images de haute qualité tout en préservant les textures, les bords et les couleurs essentiels.

Link to this sectionComment fonctionne l'apprentissage auto-supervisé pour supprimer le bruit#

Ensuite, nous explorerons le processus derrière la façon dont l'apprentissage auto-supervisé supprime le bruit.

Le processus de débruitage auto-supervisé commence généralement par l'injection d'images bruitées dans le modèle de débruitage. Le modèle analyse les pixels voisins pour estimer ce à quoi chaque pixel peu clair ou masqué devrait ressembler, apprenant progressivement à faire la différence entre le bruit et les vrais détails visuels.

Considère une image d'un ciel sombre et granuleux. Le modèle examine les étoiles proches et les motifs environnants pour prédire ce à quoi chaque zone bruitée devrait ressembler sans le bruit. En répétant ce processus sur toute l'image, il apprend à séparer le bruit aléatoire des caractéristiques significatives, produisant un résultat plus clair et plus précis.

En d'autres termes, le modèle prédit une version plus propre de l'image basée sur le contexte, sans jamais avoir besoin d'une référence parfaitement propre. Ce processus peut être mis en œuvre en utilisant différents types de modèles, chacun ayant des forces uniques dans la gestion du bruit.

Link to this sectionTypes de modèles utilisés pour la réduction du bruit d'image auto-supervisée#

Voici un aperçu rapide des types de modèles couramment utilisés pour le débruitage d'image auto-supervisé :

• Les réseaux de neurones convolutifs (CNNs) : Les CNNs sont des modèles d'apprentissage profond conçus pour reconnaître des modèles dans de petites régions d'une image. Ils scannent les images en utilisant des filtres pour détecter les bords, les formes et les textures. Dans le débruitage auto-supervisé, ils utilisent souvent des techniques d'angle mort, où le pixel cible est exclu de l'entrée afin que le modèle prédise sa valeur uniquement en fonction des pixels environnants. Cela aide le modèle à éviter de copier le bruit et à déduire plutôt des détails plus propres.
• Auto-encodeurs : Les auto-encodeurs sont des réseaux de neurones qui apprennent à compresser et à reconstruire des données. Ils réduisent d'abord une image en une représentation plus petite (encodage), puis la reconstruisent (décodage). Dans le processus, ils apprennent à capturer des caractéristiques visuelles importantes telles que les formes et les textures tout en filtrant le bruit aléatoire et les détails non pertinents.
• Modèles basés sur les Transformers : Les Transformers sont des modèles initialement développés pour le traitement du langage naturel, mais maintenant largement utilisés pour les tâches de vision. Ils traitent l'image entière à la fois, apprenant comment différentes régions sont liées les unes aux autres. Cette perspective globale leur permet de préserver les détails fins et la cohérence structurelle, même dans des images complexes ou haute résolution.

Fig 2. Un aperçu d'une architecture basée sur CNN utilisée pour le débruitage d'image auto-supervisé. (Source)

L'entraînement de ces modèles avec des images prises dans différentes conditions d'éclairage et réglages ISO les aide à bien fonctionner dans de nombreuses situations réelles. Dans les appareils photo numériques, les réglages ISO contrôlent à quel point l'appareil éclaircit l'image en amplifiant le signal qu'il reçoit.

Un ISO plus élevé rend les photos plus lumineuses dans les endroits sombres mais augmente également le bruit et réduit les détails. En apprenant à partir d'images prises à différents niveaux ISO, les modèles deviennent meilleurs pour distinguer les vrais détails du bruit, menant à des résultats plus clairs et plus précis.

Link to this sectionComment un débruiteur apprend-il ce qui est du bruit et ce qui est réel ?#

Les débruiteurs apprennent à distinguer le bruit des vrais détails de l'image grâce à différentes techniques d'entraînement, qui sont distinctes des types de modèles utilisés pour le débruitage. Les types de modèles tels que les CNNs, les auto-encodeurs et les Transformers décrivent la structure du réseau et la manière dont il traite les informations visuelles.

Les techniques d'entraînement, en revanche, définissent comment le modèle apprend. Certaines méthodes utilisent la prédiction basée sur le contexte, où le modèle remplit les pixels manquants ou masqués en utilisant des informations provenant des zones voisines.

D'autres utilisent l'apprentissage basé sur la reconstruction, où le modèle compresse une image sous une forme plus simple, puis la reconstruit, l'aidant à reconnaître des structures significatives comme les bords et les textures tout en filtrant le bruit aléatoire.

Ensemble, le type de modèle et la technique d'entraînement déterminent l'efficacité avec laquelle un débruiteur peut nettoyer les images. En combinant la bonne architecture avec la bonne approche d'apprentissage, les débruiteurs auto-supervisés peuvent s'adapter à de nombreux types de bruit et produire des images plus claires et plus précises, même sans données de référence propres.

Link to this sectionTechniques clés dans le débruitage d'image IA auto-supervisé#

Voici quelques-unes des techniques d'entraînement les plus utilisées qui permettent un débruitage d'image auto-supervisé efficace :

• Noise2Noise : Cette méthode entraîne un modèle en utilisant deux versions bruitées de la même image. Comme le bruit dans chaque version est aléatoire, le modèle apprend à se concentrer sur les détails cohérents qui représentent l'image réelle et à ignorer le bruit. Elle fonctionne mieux lorsque plusieurs captures bruitées de la même scène sont disponibles, comme dans la photographie en rafale ou l'imagerie médicale et scientifique.
• Noise2Void ou Noise2Self : Ces techniques s'entraînent sur une seule image bruitée en cachant (masquant) un pixel et en demandant au modèle de prédire sa valeur en fonction des pixels environnants. Cela empêche le modèle de simplement copier les données bruitées et l'aide à apprendre la structure naturelle des images. Elles sont particulièrement utiles lorsqu'une seule image bruitée est disponible, comme en microscopie, en astronomie ou en photographie en basse lumière.
• Réseaux à angle mort : Ils sont spécialement conçus pour que le modèle ne puisse pas voir le pixel qu'il reconstruit. Au lieu de cela, il s'appuie sur des informations de la zone environnante pour estimer ce à quoi ce pixel devrait ressembler. Cela rend la suppression du bruit plus précise et impartiale, et ils sont souvent combinés avec les méthodes Noise2Void ou Noise2Self dans les tâches de débruitage par pixel.
• Auto-encodeurs masqués (MAE) : Dans cette approche, des parties d'une image sont cachées et le modèle apprend à reconstruire les zones manquantes. Ce faisant, il apprend à la fois les détails fins et la structure globale, l'aidant à distinguer le contenu réel du bruit. Les auto-encodeurs masqués sont particulièrement efficaces pour les images haute résolution ou complexes où la compréhension du contexte plus large améliore la restauration.

Link to this sectionÉvaluation des systèmes de débruitage d'image#

Le débruitage d'image est un équilibre minutieux entre deux objectifs : réduire le bruit et garder les détails fins intacts. Trop de débruitage peut rendre une image douce ou floue, tandis qu'un manque peut laisser derrière lui des grains ou des artefacts indésirables.

Pour comprendre dans quelle mesure un modèle atteint cet équilibre, les chercheurs utilisent des métriques d'évaluation qui mesurent à la fois la clarté de l'image et la préservation des détails. Ces métriques montrent à quel point un modèle nettoie une image sans perdre d'informations visuelles importantes.

Voici des métriques d'évaluation courantes qui aident à mesurer la qualité de l'image et les performances de débruitage :

• Erreur quadratique moyenne (MSE) : Elle mesure la différence quadratique moyenne entre les images originales et débruitées. Elle souligne à quel point la sortie est proche de l'original au niveau du pixel. Des valeurs MSE plus faibles signifient moins d'erreurs et un résultat plus précis.
• Rapport signal sur bruit de crête (PSNR) : Cette métrique compare la force du signal de l'image originale au bruit restant, exprimé en décibels. Elle est utilisée pour voir quelle quantité des détails originaux a été conservée après le débruitage. Des valeurs PSNR plus élevées signifient des images plus claires et de meilleure qualité.
• Indice de similarité structurelle (SSIM) : Le SSIM évalue la structure, la luminosité et le contraste pour évaluer la similarité entre l'image débruitée et l'originale. Il se concentre sur la façon dont les humains voient les images, pas seulement sur des chiffres bruts. Des scores SSIM plus élevés signifient que l'image semble plus naturelle et fidèle à l'original.
• Métriques perceptuelles : Ces métriques utilisent des modèles d'apprentissage profond pour juger à quel point une image semble réaliste et naturelle. Au lieu de comparer des pixels individuels, elles se concentrent sur l'apparence générale, la texture et la similarité visuelle. Dans la plupart des cas, des scores plus faibles signifient que l'image semble plus proche de l'original et plus visuellement agréable pour les humains.

Link to this sectionApplications du débruitage auto-supervisé#

Maintenant que nous avons une meilleure compréhension de ce qu'est le débruitage, explorons comment le débruitage d'image auto-supervisé est appliqué dans des scénarios réels.

Link to this sectionUtiliser le débruitage auto-supervisé en astrophotographie#

Prendre des photos claires des étoiles et des galaxies n'est pas facile. Le ciel nocturne est sombre, donc les appareils photo nécessitent souvent de longs temps d'exposition, ce qui peut introduire un bruit indésirable. Ce bruit peut flouter les détails cosmiques fins et rendre les signaux faibles plus difficiles à détecter.

Les outils de débruitage traditionnels peuvent aider à réduire le bruit, mais ils suppriment souvent des détails importants en même temps. Le débruitage auto-supervisé offre une alternative plus intelligente. En apprenant directement à partir d'images bruitées, le modèle d'IA peut reconnaître des modèles qui représentent de vraies caractéristiques et les séparer du bruit aléatoire.

Le résultat est des images beaucoup plus claires d'objets célestes comme les étoiles, les galaxies et le Soleil, révélant des détails faibles qui pourraient autrement passer inaperçus. Il peut également améliorer des caractéristiques astronomiques subtiles, améliorant la clarté de l'image et rendant les données plus utiles pour la recherche scientifique.

Fig 3. Le débruitage d'image peut améliorer les images d'astrophotographie. (Source)

Link to this sectionDébruitage auto-supervisé pour l'imagerie médicale#

Les scans médicaux comme les IRM, les scanners (CT) et les images de microscopie captent souvent du bruit qui peut rendre les petits détails plus difficiles à voir. Cela peut être un problème lorsque les médecins doivent repérer les premiers signes de maladie ou suivre les changements au fil du temps.

Le bruit de l'image peut provenir du mouvement du patient, d'une faible intensité du signal ou de limites sur la quantité de rayonnement pouvant être utilisée. Pour rendre les scans médicaux plus clairs, les chercheurs ont exploré des méthodes de débruitage auto-supervisées comme Noise2Self et d'autres approches similaires.

Ces modèles sont entraînés directement sur des images d'IRM cérébrales bruitées, apprenant les modèles de bruit par eux-mêmes et les nettoyant sans avoir besoin d'exemples parfaitement clairs. Les images traitées montraient des textures plus nettes et un meilleur contraste, rendant les structures fines plus faciles à identifier. De tels débruiteurs alimentés par IA rationalisent le flux de travail dans l'imagerie diagnostique et améliorent l'efficacité de l'analyse en temps réel.

Fig 4. Utilisation de différentes techniques de débruitage auto-supervisé sur des scans IRM cérébraux. (Source)

Link to this sectionAmélioration des systèmes de vision avec le débruitage auto-supervisé#

Dans la plupart des cas, le débruitage a un impact significatif sur un large éventail d'applications de vision par ordinateur. En supprimant le bruit et les distorsions indésirables, il produit des données d'entrée plus propres et plus cohérentes pour les modèles de Vision AI.

Des images plus claires conduisent à des performances améliorées dans les tâches de vision par ordinateur telles que la détection d'objets, la segmentation d'instances et la reconnaissance d'image. Voici quelques exemples d'applications où les modèles de Vision AI, tels que Ultralytics YOLO11 et Ultralytics YOLO26, peuvent bénéficier du débruitage :

• Inspection industrielle : Le débruitage permet une détection plus précise des défauts de surface ou des anomalies dans les environnements de fabrication, conduisant à un meilleur contrôle qualité.
• Conduite autonome et navigation : Il améliore la détection des objets et des obstacles dans des conditions difficiles telles que la faible luminosité, la pluie ou le brouillard, améliorant la sécurité et la fiabilité globales.
• Surveillance et sécurité : Le débruitage améliore la qualité de l'image dans les flux vidéo à faible luminosité ou haute compression, permettant une meilleure identification et un meilleur suivi des objets ou des personnes.
• Imagerie sous-marine : Le débruitage réduit la diffusion et la distorsion de la lumière, améliorant la visibilité et la reconnaissance des objets dans des conditions sous-marines troubles.

Link to this sectionAvantages et inconvénients du débruitage auto-supervisé#

Voici quelques avantages clés de l'utilisation du débruitage auto-supervisé dans les systèmes d'imagerie :

• Adaptabilité au bruit : Les méthodes de débruitage auto-supervisé peuvent apprendre directement à partir de données bruitées sans nécessiter de références propres appariées. Cela les rend hautement adaptables à une large gamme de niveaux et de types de bruit réels, tels que le bruit de capteur, le flou de mouvement ou l'interférence environnementale.
• Préservation des détails : Lorsqu'ils sont bien conçus, ces modèles préservent les textures et les bords fins qui sont essentiels pour une interprétation précise de l'image. Des approches telles que les réseaux à angle mort et l'apprentissage basé sur le masquage aident à maintenir les informations structurelles tout en réduisant le bruit.
• Moins de pré-traitement : En apprenant à mapper les entrées bruitées vers des représentations propres en utilisant uniquement les données disponibles, le modèle minimise le besoin de filtrage manuel, d'algorithmes de débruitage artisanaux ou de jeux de données d'entraînement organisés.

Malgré ses avantages, le débruitage auto-supervisé s'accompagne également de certaines limitations. Voici quelques facteurs à prendre en compte :

• Exigences computationnelles : Les architectures neuronales profondes utilisées pour le débruitage auto-supervisé, en particulier les modèles basés sur les Transformers, peuvent nécessiter une puissance computationnelle et des ressources mémoire substantielles par rapport aux techniques de filtrage traditionnelles.
• Complexité de la conception du modèle : L'obtention de résultats optimaux nécessite une sélection minutieuse des paramètres du modèle, tels que la stratégie de masquage et la fonction de perte, qui peuvent varier selon les différents types de bruit.
• Défis d'évaluation : Les métriques courantes de qualité d'image ne correspondent pas toujours à l'aspect naturel ou réaliste d'une image débruitée, donc des vérifications visuelles ou spécifiques à la tâche sont souvent nécessaires.

Link to this sectionPoints clés#

Le débruitage auto-supervisé aide les modèles d'IA à apprendre directement à partir d'images bruitées, produisant des résultats plus clairs tout en préservant les détails fins. Il fonctionne efficacement dans une variété de scénarios difficiles, tels que la faible luminosité, les ISO élevés et l'imagerie détaillée. À mesure que l'IA continue d'évoluer, de telles techniques joueront probablement un rôle essentiel dans diverses applications de vision par ordinateur.

Rejoins notre communauté et explore notre dépôt GitHub pour en découvrir plus sur l'IA. Si tu cherches à construire ton propre projet de Vision AI, consulte nos options de licence. Découvre-en plus sur des applications comme l'IA dans la santé et la Vision AI dans le commerce en visitant nos pages de solutions.