Gürültü giderme için öz denetimli öğrenme: Adım adım bir inceleme

Kameralar dünyayı her zaman bizim gördüğümüz gibi yakalayamaz. Düşük ışıkta çekilen bir portre veya hızla hareket eden bir arabanın fotoğrafı grenli, bulanık veya bozuk görünebilir.

Yavaş sensörler, karanlık ortamlar ve hareket, kenarları yumuşatan ve önemli detayları gizleyen küçük gürültü benekleri oluşturabilir. Bu netlik kaybolduğunda, gelişmiş yapay zeka ve makine öğrenimi sistemleri bile görüntünün ne içerdiğini anlamakta zorlanabilir, çünkü birçok akıllı sistem iyi çalışmak için bu ince detaylara güvenir.

Örneğin, computer vision, makinelerin görüntüleri ve videoları yorumlamasını sağlayan bir yapay zeka dalıdır. Ancak bunu doğru bir şekilde yapabilmek için, vision AI modellerinin öğrenmek üzere temiz, yüksek kaliteli görsel verilere ihtiyacı vardır.

Özellikle Ultralytics YOLO11 ve yakında çıkacak olan Ultralytics YOLO26 gibi modeller; nesne tespiti, örnek bölütleme ve poz tahmini gibi görevleri destekler ve farklı kullanım senaryoları için özel olarak eğitilebilir. Bu görevler, kenarlar, dokular, renkler ve ince yapısal detaylar gibi net görsel ipuçlarına dayanır.

Gürültü bu özellikleri gizlediğinde, model daha zayıf eğitim sinyalleri alır ve bu da doğru kalıpları öğrenmeyi zorlaştırır. Sonuç olarak, az miktarda gürültü bile gerçek uygulamalarda performansı düşürebilir.

Daha önce, self-supervised learning denoises images konusunu incelemiştik. Bu makalede, kendi kendine denetimli gürültü giderme tekniklerinin nasıl çalıştığını ve anlamlı görsel bilgileri kurtarmaya nasıl yardımcı olduklarını daha derinlemesine inceleyeceğiz. Hadi başlayalım!

Gerçek dünya görüntülerindeki yaygın gürültü türleri#

Öz denetimli öğrenmenin görüntü gürültü gidermede nasıl kullanıldığını keşfetmeden önce, görüntülerin neden ilk etapta gürültülü hale geldiğini yeniden gözden geçirelim.

Gerçek dünyadaki nesnelerin ve sahnelerin görüntüleri nadiren mükemmeldir. Düşük ışık, sınırlı sensör kalitesi ve hızlı hareket, görüntü genelindeki bireysel piksellerde rastgele bozulmalar oluşturabilir. Gürültü olarak bilinen bu piksel düzeyindeki bozulmalar, genel netliği azaltır ve önemli detayların görülmesini zorlaştırır.

Gürültü kenarları, dokuları ve ince kalıpları gizlediğinde, computer vision sistemleri nesneleri tanımakta veya sahneleri doğru bir şekilde yorumlamakta zorlanır. Farklı koşullar, her biri görüntüyü kendi tarzında etkileyen farklı gürültü türleri üretir.

Şekil 1. Gürültünün bir görüntüde nasıl artan belirsizliğe neden olabileceğine dair bir örnek. (Kaynak)

İşte görüntülerde bulunan en yaygın gürültü türlerinden bazıları:

• Gaussian noise: Bu gürültü türü, elektronik sensör paraziti veya termal dalgalanmalardan kaynaklanan yumuşak, rastgele grenler olarak görünür. Küçük piksel değişimlerinin ince detayları bulanıklaştırdığı ve genel keskinliği azalttığı Gaussian (normal) dağılımını takip eder.
• Poisson noise: Atış gürültüsü olarak da adlandırılan bu gürültü türü, düşük ışık koşullarında veya kısa pozlama sürelerinde oluşur. Varyansı parlaklıkla artar, ancak daha az foton yakalandığı ve sonuç olarak daha düşük sinyal-gürültü oranına sahip olduğu için gürültü genellikle daha karanlık bölgelerde daha belirgindir.
• Salt-and-pepper noise: Bu gürültü türü, keskin siyah veya beyaz piksel uçları olarak görünür. Genellikle iletim hataları, bit bozulması veya hatalı kamera sensörlerinden kaynaklanır ve genellikle eksik veya bozuk piksel değerlerine yol açar.
• Speckle noise: Bu gürültü türü grenli, nokta benzeri kalıplar olarak görünür ve tıbbi, radar ve ultrason görüntülemede yaygındır. Kontrastı azaltan ve kenarların tespit edilmesini zorlaştıran sinyal paraziti ve saçılmasından kaynaklanır.

Öz denetimli gürültü gidermeyi ne zaman kullanmalısın?#

Peki, öz denetimli gürültü gidermeyi özel kılan nedir? Temiz, yer gerçeği (ground-truth) görüntülerinin mevcut olmadığı veya yakalanmasının çok zor olduğu durumlarda parlar.

Bu durum genellikle düşük ışıklı fotoğraflarda, yüksek ISO çekimlerinde, medical and scientific imaging alanlarında veya gürültünün kaçınılmaz olduğu ve mükemmel referans verileri toplamanın gerçekçi olmadığı her ortamda gerçekleşir. Model, temiz örneklere ihtiyaç duymak yerine, halihazırda sahip olduğunuz gürültülü görüntülerden doğrudan öğrenir; bu da onu kameranızın veya sensörünüzün özel gürültü kalıplarına uyarlanabilir hale getirir.

Öz denetimli gürültü giderme, downstream computer vision görevlerinin performansını artırmak istediğinde ancak veri setin tutarsız veya gürültülü görüntülerle dolu olduğunda da harika bir seçenektir. Daha net kenarlar, dokular ve yapılar kurtararak, bu yöntemler YOLO gibi modellerin sahneleri daha güvenilir bir şekilde algılamasına, segmentlere ayırmasına ve anlamasına yardımcı olur. Kısacası, gürültülü verilerle çalışıyorsan ve temiz eğitim görüntüleri mevcut değilse, öz denetimli gürültü giderme genellikle en pratik ve etkili çözümü sunar.

Öz denetimli gürültü gidermeyi yönlendiren temel teknikler#

Daha önce de gördüğümüz gibi, kendi kendine denetimli gürültü giderme; modellerin temiz etiketlere güvenmeden doğrudan gürültülü görüntülerden öğrenmesini sağlayan, derin öğrenme tabanlı bir AI yaklaşımıdır. Modellerin verinin kendisinden kendi eğitim sinyallerini ürettiği self-supervised learning ilkeleri üzerine kuruludur.

Başka bir deyişle, bir model hem girdi hem de öğrenme sinyalinin kaynağı olarak gürültülü görüntüleri kullanarak kendine öğretebilir. Aynı görüntünün farklı bozulmuş sürümlerini karşılaştırarak veya maskelenmiş pikselleri tahmin ederek, model hangi kalıpların gerçek yapıyı temsil ettiğini ve hangilerinin sadece gürültü olduğunu öğrenir. Yinelemeli optimizasyon ve kalıp tanıma yoluyla ağ, anlamlı görüntü içeriğini rastgele varyasyonlardan ayırt etme yeteneğini kademeli olarak geliştirir.

Şekil 2. Ham bir görüntü ve gürültüsü giderilmiş bir görüntü. (Kaynak)

Bu, modeli kararlı görüntü yapısını rastgele gürültüden ayırmaya yönlendiren belirli öğrenme stratejileri sayesinde mümkün olur. Şimdi, bu süreci kolaylaştıran temel tekniklere ve algoritmalara ve her yaklaşımın modellerin daha temiz, daha güvenilir görüntüler oluşturmasına nasıl yardımcı olduğuna daha yakından bakalım.

İkili (pairwise) görüntü gürültü giderme yöntemleri#

Gürültü giderme için birçok erken öz denetimli öğrenme yöntemi, aynı görüntünün iki gürültülü sürümünü karşılaştırarak çalışıyordu. Gürültü, bir görüntü her yakalandığında veya bozulduğunda rastgele değiştiğinden ancak gerçek yapı aynı kaldığından, bu farklar bir model için öğrenme sinyali olarak kullanılabilir.

Bu yaklaşımlar, eğitim sırasında gürültülü görüntü çiftleri kullanmaya veya oluşturmaya dayandıkları için genellikle ikili görüntü gürültü giderme yöntemleri olarak adlandırılır. Örneğin, (Jaakko Lehtinen ve ekibi tarafından önerilen) Noise2Noise yaklaşımı, aynı sahnenin iki bağımsız gürültülü görüntüsünü kullanarak bir modeli eğitir. İki sürüm arasındaki gürültü kalıplarının farklı olduğu göz önüne alındığında, model gerçek görüntüyü temsil eden tutarlı detayları tanımlamayı öğrenir.

Şekil 3. Noise2Noise nasıl çalışır (Kaynak)

Zamanla bu, ağa rastgele gürültüyü bastırmayı ve gerçek yapıyı korumayı öğretir, temiz bir referans görüntüsü görmese bile. Gece düşük ışıklı bir sokağın iki fotoğrafını çektiğin basit bir senaryo düşün.

Her görüntü aynı binaları, ışıkları ve gölgeleri içerir, ancak grenli gürültü farklı yerlerde görünür. Eğitim sırasında bu iki gürültülü fotoğrafı karşılaştırarak, öz denetimli bir model hangi görsel kalıpların kararlı olduğunu ve hangilerinin gürültüden kaynaklandığını öğrenebilir, sonuçta daha temiz görüntüleri yeniden oluşturma yeteneğini geliştirir.

Kör nokta (blind-spot) tabanlı öz denetimli öğrenme gürültü giderme yöntemleri#

İkili yöntemler aynı görüntünün iki farklı bozulmuş sürümünü karşılaştırmaya dayanırken, kör nokta yöntemleri farklı bir yaklaşım benimser. Bir modelin, seçilen pikselleri gizleyerek tek bir gürültülü görüntüden öğrenmesine izin verirler, böylece ağ onların bozuk değerlerini göremez.

Model daha sonra gizli pikselleri yalnızca çevreleyen bağlamı kullanarak tahmin etmelidir. Temel fikir, gürültünün rastgele olması, ancak bir görüntünün temel yapısının rastgele olmamasıdır.

Modelin bir pikselin gürültülü değerini kopyalamasını engelleyerek, kör nokta yöntemleri onu yakındaki kenarlar, dokular veya renk gradyanları gibi kararlı görüntü kalıplarına dayanarak o pikselin ne olması gerektiğini çıkarmaya teşvik eder. (Alexander Krull ve ekibi tarafından tanıtılan) Noise2Void ve (Joshua Batson ve Loïc Royer tarafından geliştirilen) Noise2Self gibi teknikler, bireysel pikselleri veya küçük mahalleleri maskeleyerek ve modeli bunları yeniden oluşturmak üzere eğiterek bu ilkeyi uygular.

Noise2Same ve PN2V gibi daha gelişmiş yaklaşımlar; birden fazla maskelenmiş sürüm arasında tutarlı tahminler uygulayarak veya belirsizliği tahmin etmek için gürültü dağılımını açıkça modelleyerek sağlamlığı artırır. Bu yöntemler yalnızca tek bir gürültülü görüntü gerektirdiğinden, microscopy, astronomi, biyomedikal görüntüleme veya düşük ışıkta fotoğrafçılık gibi temiz veya eşleştirilmiş görüntülerin yakalanmasının pratik olmadığı veya imkansız olduğu alanlarda özellikle yararlıdır.

Transformer destekli gürültü giderme yöntemleri#

Çoğu ikili ve kör nokta öz denetimli gürültü giderme yöntemi, evrişimli sinir ağlarına (CNN'ler) veya gürültü giderme ağlarına dayanır. CNN'ler bu yaklaşımlar için harika bir seçenektir çünkü yerel kalıplara, yani kenarlara, dokulara ve küçük detaylara odaklanırlar.

Architectures like U-Net, ince taneli özellikleri çok ölçekli bilgilenmeyle birleştirdikleri için yaygın olarak kullanılmaktadır. Bununla birlikte, CNN'ler çoğunlukla sınırlı mahalleler içinde çalışır, yani bir görüntünün daha büyük bölgelerini kapsayan önemli ilişkileri kaçırabilirler.

Transformer destekli son teknoloji gürültü giderme yöntemleri, bu sınırlamayı ele almak için tanıtılmıştır. Önerilen yöntem, yalnızca yakındaki piksellere bakmak yerine, görüntünün farklı bölümlerinin birbiriyle nasıl ilişkili olduğunu anlamak için dikkat (attention) mekanizmalarını kullanır.

Bazı modeller tam küresel dikkat kullanırken, diğerleri hesaplamayı azaltmak için pencere tabanlı veya hiyerarşik dikkat kullanır, ancak genel olarak, CNN'lerin tek başlarına yapamadığı uzun menzilli yapıyı yakalamak için tasarlanmışlardır. Bu daha geniş görüş, modelin görüntünün genelinden bilgi gerektiren tekrarlayan dokuları, pürüzsüz yüzeyleri veya büyük nesneleri geri yüklemesine yardımcı olur.

Diğer görüntü gürültü giderme yöntemleri#

Öz denetimli tekniklerin yanı sıra, gürültülü görüntüleri temizlemenin başka yolları da vardır. İkili filtreleme, dalgacık (wavelet) gürültü giderme ve yerel olmayan ortalamalar gibi geleneksel yöntemler, önemli detayları korumaya çalışırken gürültüyü düzeltmek için basit matematiksel kurallar kullanır.

Bu arada, temiz-gürültülü görüntü çiftlerinden öğrenen denetimli modeller ve daha keskin, daha gerçekçi sonuçlar üreten üretken çekişmeli ağlar (GAN'lar) dahil olmak üzere derin öğrenme yaklaşımları da mevcuttur. Ancak, bu yöntemler genellikle eğitim için daha iyi görüntü kalitesi gerektirir.

Öz denetimli görüntü gürültü gidermenin nasıl çalıştığına adım adım bir bakış#

Az önce birkaç farklı teknikten geçtiğimiz için, kendi mimarilerini kullandıkları göz önüne alındığında her birinin tamamen farklı bir şekilde çalışıp çalışmadığını merak ediyor olabilirsin. Ancak, hepsi veri hazırlığı ile başlayan ve model değerlendirmesi ile biten benzer bir boru hattını (pipeline) takip eder.

Şimdi, genel öz denetimli gürültü giderme görüntü sürecinin adım adım nasıl çalıştığına daha yakından bakalım.

Adım: Ön işleme ve normalleştirme#

Model gürültülü görüntülerden öğrenmeye başlamadan önce, ilk adım tüm görüntülerin tutarlı göründüğünden emin olmaktır. Gerçek fotoğraflar çok değişken olabilir.

Bazı görüntüler çok parlak, bazıları çok karanlık olabilir ve bazılarının renkleri biraz farklı olabilir. Bu varyasyonları doğrudan bir modele beslersek, modelin gürültünün neye benzediğini öğrenmeye odaklanması zorlaşır.

Bunu ele almak için her görüntü normalization işleminden ve temel ön işlemeden geçer. Bu, piksel değerlerini standart bir aralığa ölçeklendirmeyi, yoğunluk varyasyonlarını düzeltmeyi veya kırpıp yeniden boyutlandırmayı içerebilir. Buradaki kilit nokta, modelin kararlı, karşılaştırılabilir girdiler olarak kullanılabilen temiz veriler almasıdır.

Adım: Öz denetimli bir eğitim sinyali oluşturma#

Görüntüler normalleştirildikten sonra bir sonraki adım, modelin hiç temiz bir görüntü görmeden öğrenmesini sağlayan bir eğitim sinyali oluşturmaktır. Öz denetimli gürültü giderme yöntemleri bunu, modelin aldığı gürültülü piksel değerlerini basitçe kopyalayamamasını sağlayarak yapar.

Bunun yerine, modelin öngörülemez gürültü yerine kararlı bir yapı içeren görüntünün çevreleyen bağlamına güvenmesi gereken durumlar yaratırlar. Farklı yöntemler bunu biraz farklı şekillerde başarır, ancak temel fikir aynıdır.

Bazı yaklaşımlar, modelin onları komşularından çıkarması için belirli pikselleri geçici olarak gizler veya maskelerken, diğerleri aynı gürültülü görüntünün ayrı olarak bozulmuş bir sürümünü oluşturur, böylece girdi ve hedef bağımsız gürültü içerir. Her iki durumda da hedef görüntü anlamlı yapısal bilgiler taşır ancak ağın tahmin etmesi gereken pikselin orijinal gürültülü değerine erişmesini engeller.

Gürültü rastgele değişirken temel görüntü tutarlı kaldığı için, bu kurulum doğal olarak modeli gerçek yapının neye benzediğini öğrenmeye ve bir sürümden diğerine değişen gürültüyü görmezden gelmeye teşvik eder.

Adım: Görüntü yapısını kurtarmak için gürültü gidermeyi öğrenme#

Eğitim sinyali yerindeyken, model, model eğitimi yoluyla anlamlı görüntü yapısını gürültüden nasıl ayıracağını öğrenmeye başlayabilir. Maskelenmiş veya yeniden bozulmuş bir pikseli her tahmin ettiğinde, o noktayı başlangıçta işgal eden gürültülü değer yerine çevreleyen bağlama güvenmek zorundadır.

Birçok yineleme veya dönem boyunca bu, ağa görüntünün genelinde kararlı kalan kenarlar, dokular ve pürüzsüz yüzeyler gibi kalıpları tanımayı öğretir. Ayrıca gürültüyü karakterize eden rastgele dalgalanmaları görmezden gelmeyi öğrenir.

Örneğin, bir yüzeyin son derece grenli göründüğü düşük ışıklı bir fotoğraf düşün. Gürültü pikselden piksele değişse de, alttaki yüzey hala pürüzsüzdür. Bu bölgelerdeki gizli pikselleri tekrar tekrar çıkararak, model gürültünün altındaki kararlı kalıbı tanımlamada ve onu daha temiz bir şekilde yeniden oluşturmada giderek daha iyi hale gelir.

Model eğitimi sürecinde ağ, görüntünün yapısının dahili bir temsilini öğrenir. Bu, modelin girdi ağır bir şekilde bozulduğunda bile tutarlı detayları kurtarmasını sağlar.

Adım: Doğrulama ve gürültü azaltma sonuçları#

Model gizli veya yeniden bozulmuş pikselleri tahmin etmeyi öğrendikten sonra, son adım tüm görüntüler üzerinde ne kadar iyi performans gösterdiğini değerlendirmektir. Test sırasında model tüm gürültülü bir görüntü alır ve görüntü yapısı hakkında öğrendiklerine dayanarak gürültüsü giderilmiş tam bir sürüm üretir. Bu sürecin ne kadar etkili olduğunu ölçmek için, çıktı temiz referans görüntüleri veya standart kıyaslama veri setleri ile karşılaştırılır.

Yaygın olarak kullanılan iki metrik, yeniden oluşturmanın temiz yer gerçeğine ne kadar yakın olduğunu ölçen PSNR (Peak Signal-to-Noise Ratio) ve kenarlar ile dokular gibi önemli özelliklerin ne kadar iyi korunduğunu değerlendiren SSIM'dir (Structural Similarity Index). Daha yüksek puanlar genellikle daha doğru ve görsel olarak güvenilir gürültü gidermeyi gösterir.

Eğitim ve kıyaslama için kullanılan görüntü veri setleri#

Diğerlerinin yanı sıra IEEE dergilerinde ve CVF konferanslarında (CVPR, ICCV ve ECCV) yayınlanan ve arXiv'de geniş çapta dağıtılan öz denetimli gürültü giderme araştırmaları, hem kontrollü hem de pratik koşullar altında derin öğrenme yöntemlerinin model performansını değerlendirmek için genellikle sentetik ve gerçek dünya veri setlerinin bir karışımına dayanır. Bir yandan, sentetik veri setleri temiz görüntülerle başlar ve yapay gürültü ekler, bu da PSNR ve SSIM gibi metrikleri kullanarak yöntemleri karşılaştırmayı kolaylaştırır.

İşte kıyaslama için yapay gürültü eklenmiş, yaygın olarak kullanılan bazı popüler veri setleri:

• Kodak24: Bu veri kümesi, gürültü giderme sonuçlarını görsel olarak karşılaştırmak için yaygın olarak kullanılan yüksek kaliteli doğal sahne fotoğrafları sağlar.
• DIV2K: Bu yüksek çözünürlüklü veri kümesi, doku sadakatini ve genel restorasyon kalitesini değerlendirmek için kullanılan çeşitli, ayrıntılı görüntüler içerir.

Gerçek dünya gürültülü veri setleri ise, düşük ışık, yüksek ISO veya diğer zorlu koşullar altında doğrudan kamera sensörlerinden yakalanan görüntüleri içerir. Bu veri setleri, bir modelin kolayca simüle edilemeyen karmaşık, Gaussian olmayan gürültüyü ele alıp alamayacağını test eder.

İşte bazı popüler gerçek dünya gürültülü veri setleri:

• SIDD: Bu veri kümesi, çeşitli aydınlatma ortamlarında akıllı telefon sensörleriyle yakalanmış gerçek gürültülü ve temiz görüntü çiftleri sağlar.
• DND: Tüketici kameralarında bulunan gerçekçi sensör gürültüsü kalıplarını yakalayan yüksek ISO'lu fotoğraflar içerir.

Şekil 4. DND veri kümesinden bir örnek. (Kaynak)

Öz denetimli bir gürültü giderme modeli eğitirken göz önünde bulundurulması gereken faktörler#

Derin öğrenme tabanlı öz denetimli bir gürültü giderme modeli eğiteceksen göz önünde bulundurman gereken bazı faktörler ve sınırlamalar şunlardır:

• Gürültü dağılımını eşleştir: Eğitim için kullanılan gürültülü görüntüler, modelin gerçek kullanımda karşılaşacağı gürültüyü yansıtmalıdır; eşleşmeyen gürültü zayıf genellemeye yol açar.
• Eğitim verisi çeşitliliğini sağla: Sınırlı varyasyon, karmaşık dokularda aşırı öğrenmeye (overfitting) veya aşırı düzleştirmeye neden olabilir.
• Gürültü türü sınırlamalarının farkında ol: Öz denetimli yöntemler yapılandırılmış, ilişkili veya rastgele olmayan gürültülerle daha fazla zorlanır.
• Cihazlar veya sensörler arasında test et: Gürültü giderme performansı kameralar veya görüntüleme sistemleri arasında büyük ölçüde değişebilir.

Öne çıkanlar#

Öz denetimli gürültü giderme, yapay zeka meraklılarına yalnızca elimizde bulunan gürültülü verileri kullanarak görüntüleri temizlemeleri için pratik bir yol sunar. Gürültünün altındaki gerçek yapıyı tanımayı öğrenerek, bu yöntemler önemli görsel detayları kurtarabilir. Gürültü giderme teknolojisi gelişmeye devam ettikçe, günlük ortamlarda çok çeşitli computer vision görevlerini daha güvenilir hale getirmesi muhtemeldir.

Büyüyen community topluluğumuzun bir parçası ol! Yapay zeka hakkında daha fazla bilgi edinmek için GitHub repository depomuza dal. Bilgisayarlı görü çözümleri oluşturmak istiyorsan, licensing options lisans seçeneklerimize göz at. computer vision in retail perakendede bilgisayarlı görü faydalarını keşfet ve AI in manufacturing imalatta yapay zekanın nasıl bir fark yarattığınıör!