Gürültü giderme için öz denetimli öğrenme: Adım adım bir inceleme

Kameralar dünyayı her zaman bizim gördüğümüz gibi yakalayamaz. Düşük ışıkta çekilen bir portre veya hızla hareket eden bir arabanın fotoğrafı grenli, bulanık veya bozuk görünebilir.

Yavaş sensörler, karanlık ortamlar ve hareket, kenarları yumuşatan ve önemli detayları gizleyen küçük gürültü benekleri oluşturabilir. Bu netlik kaybolduğunda, gelişmiş yapay zeka ve makine öğrenimi sistemleri bile görüntünün ne içerdiğini anlamakta zorlanabilir, çünkü birçok akıllı sistem iyi çalışmak için bu ince detaylara güvenir.

Örneğin, computer vision, makinelerin görüntüleri ve videoları yorumlamasını sağlayan bir yapay zeka dalıdır. Ancak bunu doğru bir şekilde yapmak için vizyon yapay zeka modellerinin öğrenmek için temiz, yüksek kaliteli görsel verilere ihtiyacı vardır.

Özellikle, Ultralytics YOLO11 ve yakında çıkacak olan Ultralytics YOLO26 gibi modeller; nesne algılama, örnek bölümleme ve poz kestirimi gibi görevleri destekler ve farklı kullanım durumları için özel olarak eğitilebilirler. Bu görevler kenarlar, dokular, renkler ve ince yapısal detaylar gibi net görsel ipuçlarına dayanır.

Gürültü bu özellikleri gizlediğinde, model daha zayıf eğitim sinyalleri alır ve bu da doğru kalıpları öğrenmeyi zorlaştırır. Sonuç olarak, az miktarda gürültü bile gerçek uygulamalarda performansı düşürebilir.

Daha önce, self-supervised learning denoises images konusunu incelemiştik. Bu makalede, öz denetimli gürültü giderme tekniklerinin nasıl çalıştığına ve anlamlı görsel bilgileri kurtarmaya nasıl yardımcı olduklarına daha derinlemesine bakacağız. Hadi başlayalım!

Link to this sectionGerçek dünya görüntülerindeki yaygın gürültü türleri#

Öz denetimli öğrenmenin görüntü gürültü gidermede nasıl kullanıldığını keşfetmeden önce, görüntülerin neden ilk etapta gürültülü hale geldiğini yeniden gözden geçirelim.

Gerçek dünyadaki nesnelerin ve sahnelerin görüntüleri nadiren mükemmeldir. Düşük ışık, sınırlı sensör kalitesi ve hızlı hareket, görüntü genelindeki bireysel piksellerde rastgele bozulmalar oluşturabilir. Gürültü olarak bilinen bu piksel düzeyindeki bozulmalar, genel netliği azaltır ve önemli detayların görülmesini zorlaştırır.

Gürültü kenarları, dokuları ve ince kalıpları gizlediğinde, computer vision sistemleri nesneleri tanımakta veya sahneleri doğru bir şekilde yorumlamakta zorlanır. Farklı koşullar, her biri görüntüyü kendi tarzında etkileyen farklı gürültü türleri üretir.

Şekil 1. Gürültünün bir görüntüde nasıl artan belirsizliğe neden olabileceğine dair bir örnek. (Source)

İşte görüntülerde bulunan en yaygın gürültü türlerinden bazıları:

• Gaussian noise: Bu gürültü türü, elektronik sensör paraziti veya termal dalgalanmalardan kaynaklanan yumuşak, rastgele grenler olarak görünür. Küçük piksel değişimlerinin ince detayları bulanıklaştırdığı ve genel keskinliği azalttığı Gaussian (normal) dağılımını takip eder.
• Poisson noise: Atış gürültüsü olarak da adlandırılan bu gürültü türü, düşük ışık koşullarında veya kısa pozlama sürelerinde oluşur. Varyansı parlaklıkla artar, ancak daha az foton yakalandığı ve sonuç olarak daha düşük sinyal-gürültü oranına sahip olduğu için gürültü genellikle daha karanlık bölgelerde daha belirgindir.
• Salt-and-pepper noise: Bu gürültü türü, keskin siyah veya beyaz piksel uçları olarak görünür. Genellikle iletim hataları, bit bozulması veya hatalı kamera sensörlerinden kaynaklanır ve genellikle eksik veya bozuk piksel değerlerine yol açar.
• Speckle noise: Bu gürültü türü grenli, nokta benzeri kalıplar olarak görünür ve tıbbi, radar ve ultrason görüntülemede yaygındır. Kontrastı azaltan ve kenarların tespit edilmesini zorlaştıran sinyal paraziti ve saçılmasından kaynaklanır.

Link to this sectionÖz denetimli gürültü gidermeyi ne zaman kullanmalısın?#

Peki, öz denetimli gürültü gidermeyi özel kılan nedir? Temiz, yer gerçeği (ground-truth) görüntülerinin mevcut olmadığı veya yakalanmasının çok zor olduğu durumlarda parlar.

Bu durum genellikle düşük ışıklı fotoğrafçılıkta, yüksek ISO görüntülemede, medical and scientific imaging veya gürültünün kaçınılmaz olduğu ve mükemmel referans verileri toplamanın gerçekçi olmadığı herhangi bir ortamda gerçekleşir. Temiz örneklere ihtiyaç duymak yerine, model halihazırda elinde bulunan gürültülü görüntülerden doğrudan öğrenir ve bu da onu kameranın veya sensörün belirli gürültü kalıplarına uyarlanabilir kılar.

Öz denetimli gürültü giderme, downstream computer vision görevlerinin performansını artırmak istediğinde ancak veri setin tutarsız veya gürültülü görüntülerle dolu olduğunda da harika bir seçenektir. Daha net kenarlar, dokular ve yapılar kurtararak, bu yöntemler YOLO gibi modellerin sahneleri daha güvenilir bir şekilde algılamasına, segmentlere ayırmasına ve anlamasına yardımcı olur. Kısacası, gürültülü verilerle çalışıyorsan ve temiz eğitim görüntüleri mevcut değilse, öz denetimli gürültü giderme genellikle en pratik ve etkili çözümü sunar.

Link to this sectionÖz denetimli gürültü gidermeyi yönlendiren temel teknikler#

Daha önce gördüğümüz gibi, öz denetimli gürültü giderme, modellerin temiz etiketlere güvenmeden doğrudan gürültülü görüntülerden öğrenmesini sağlayan derin öğrenme tabanlı bir yapay zeka yaklaşımıdır. Modellerin kendi eğitim sinyallerini verinin kendisinden ürettiği self-supervised learning ilkeleri üzerine inşa edilmiştir.

Başka bir deyişle, bir model hem girdi hem de öğrenme sinyalinin kaynağı olarak gürültülü görüntüleri kullanarak kendine öğretebilir. Aynı görüntünün farklı bozulmuş sürümlerini karşılaştırarak veya maskelenmiş pikselleri tahmin ederek, model hangi kalıpların gerçek yapıyı temsil ettiğini ve hangilerinin sadece gürültü olduğunu öğrenir. Yinelemeli optimizasyon ve kalıp tanıma yoluyla ağ, anlamlı görüntü içeriğini rastgele varyasyonlardan ayırt etme yeteneğini kademeli olarak geliştirir.

Şekil 2. Ham bir görüntü ve gürültüsü giderilmiş bir görüntü. (Source)

Bu, modeli kararlı görüntü yapısını rastgele gürültüden ayırmaya yönlendiren belirli öğrenme stratejileri sayesinde mümkün olur. Şimdi, bu süreci kolaylaştıran temel tekniklere ve algoritmalara ve her yaklaşımın modellerin daha temiz, daha güvenilir görüntüler oluşturmasına nasıl yardımcı olduğuna daha yakından bakalım.

Link to this sectionİkili (pairwise) görüntü gürültü giderme yöntemleri#

Gürültü giderme için birçok erken öz denetimli öğrenme yöntemi, aynı görüntünün iki gürültülü sürümünü karşılaştırarak çalışıyordu. Gürültü, bir görüntü her yakalandığında veya bozulduğunda rastgele değiştiğinden ancak gerçek yapı aynı kaldığından, bu farklar bir model için öğrenme sinyali olarak kullanılabilir.

Bu yaklaşımlar, eğitim sırasında gürültülü görüntü çiftleri kullanmaya veya oluşturmaya dayandıkları için genellikle ikili görüntü gürültü giderme yöntemleri olarak adlandırılır. Örneğin, (Jaakko Lehtinen ve ekibi tarafından önerilen) Noise2Noise yaklaşımı, aynı sahnenin iki bağımsız gürültülü görüntüsünü kullanarak bir modeli eğitir. İki sürüm arasındaki gürültü kalıplarının farklı olduğu göz önüne alındığında, model gerçek görüntüyü temsil eden tutarlı detayları tanımlamayı öğrenir.

Şekil 3. Noise2Noise nasıl çalışır (Source)

Zamanla bu, ağa rastgele gürültüyü bastırmayı ve gerçek yapıyı korumayı öğretir, temiz bir referans görüntüsü görmese bile. Gece düşük ışıklı bir sokağın iki fotoğrafını çektiğin basit bir senaryo düşün.

Her görüntü aynı binaları, ışıkları ve gölgeleri içerir, ancak grenli gürültü farklı yerlerde görünür. Eğitim sırasında bu iki gürültülü fotoğrafı karşılaştırarak, öz denetimli bir model hangi görsel kalıpların kararlı olduğunu ve hangilerinin gürültüden kaynaklandığını öğrenebilir, sonuçta daha temiz görüntüleri yeniden oluşturma yeteneğini geliştirir.

Link to this sectionKör nokta (blind-spot) tabanlı öz denetimli öğrenme gürültü giderme yöntemleri#

İkili yöntemler aynı görüntünün iki farklı bozulmuş sürümünü karşılaştırmaya dayanırken, kör nokta yöntemleri farklı bir yaklaşım benimser. Bir modelin, seçilen pikselleri gizleyerek tek bir gürültülü görüntüden öğrenmesine izin verirler, böylece ağ onların bozuk değerlerini göremez.

Model daha sonra gizli pikselleri yalnızca çevreleyen bağlamı kullanarak tahmin etmelidir. Temel fikir, gürültünün rastgele olması, ancak bir görüntünün temel yapısının rastgele olmamasıdır.

Modelin bir pikselin gürültülü değerini kopyalamasını engelleyerek, kör nokta yöntemleri onu yakındaki kenarlar, dokular veya renk gradyanları gibi kararlı görüntü kalıplarına dayanarak o pikselin ne olması gerektiğini çıkarmaya teşvik eder. (Alexander Krull ve ekibi tarafından tanıtılan) Noise2Void ve (Joshua Batson ve Loïc Royer tarafından geliştirilen) Noise2Self gibi teknikler, bireysel pikselleri veya küçük mahalleleri maskeleyerek ve modeli bunları yeniden oluşturmak üzere eğiterek bu ilkeyi uygular.

Noise2Same ve PN2V dahil olmak üzere daha gelişmiş yaklaşımlar, birden fazla maskelenmiş sürümde tutarlı tahminleri zorunlu kılarak veya belirsizliği tahmin etmek için gürültü dağılımını açıkça modelleyerek sağlamlığı artırır. Bu yöntemler yalnızca tek bir gürültülü görüntü gerektirdiğinden, temiz veya eşleştirilmiş görüntüler yakalamanın pratik olmadığı veya imkansız olduğu microscopy, astronomi, biyomedikal görüntüleme veya düşük ışıklı fotoğrafçılık gibi alanlarda özellikle yararlıdır.

Link to this sectionTransformer destekli gürültü giderme yöntemleri#

Çoğu ikili ve kör nokta öz denetimli gürültü giderme yöntemi, evrişimli sinir ağlarına (CNN'ler) veya gürültü giderme ağlarına dayanır. CNN'ler bu yaklaşımlar için harika bir seçenektir çünkü yerel kalıplara, yani kenarlara, dokulara ve küçük detaylara odaklanırlar.

Architectures like U-Net, ince taneli özellikleri çok ölçekli bilgilerle birleştirdikleri için yaygın olarak kullanılır. Ancak, CNN'ler çoğunlukla sınırlı mahalleler içinde çalışır, bu da görüntünün daha büyük bölgelerine yayılan önemli ilişkileri kaçırabilecekleri anlamına gelir.

Transformer destekli son teknoloji gürültü giderme yöntemleri, bu sınırlamayı ele almak için tanıtılmıştır. Önerilen yöntem, yalnızca yakındaki piksellere bakmak yerine, görüntünün farklı bölümlerinin birbiriyle nasıl ilişkili olduğunu anlamak için dikkat (attention) mekanizmalarını kullanır.

Bazı modeller tam küresel dikkat kullanırken, diğerleri hesaplamayı azaltmak için pencere tabanlı veya hiyerarşik dikkat kullanır, ancak genel olarak, CNN'lerin tek başlarına yapamadığı uzun menzilli yapıyı yakalamak için tasarlanmışlardır. Bu daha geniş görüş, modelin görüntünün genelinden bilgi gerektiren tekrarlayan dokuları, pürüzsüz yüzeyleri veya büyük nesneleri geri yüklemesine yardımcı olur.

Link to this sectionDiğer görüntü gürültü giderme yöntemleri#

Öz denetimli tekniklerin yanı sıra, gürültülü görüntüleri temizlemenin başka yolları da vardır. İkili filtreleme, dalgacık (wavelet) gürültü giderme ve yerel olmayan ortalamalar gibi geleneksel yöntemler, önemli detayları korumaya çalışırken gürültüyü düzeltmek için basit matematiksel kurallar kullanır.

Bu arada, temiz-gürültülü görüntü çiftlerinden öğrenen denetimli modeller ve daha keskin, daha gerçekçi sonuçlar üreten üretken çekişmeli ağlar (GAN'lar) dahil olmak üzere derin öğrenme yaklaşımları da mevcuttur. Ancak, bu yöntemler genellikle eğitim için daha iyi görüntü kalitesi gerektirir.

Link to this sectionÖz denetimli görüntü gürültü gidermenin nasıl çalıştığına adım adım bir bakış#

Az önce birkaç farklı teknikten geçtiğimiz için, kendi mimarilerini kullandıkları göz önüne alındığında her birinin tamamen farklı bir şekilde çalışıp çalışmadığını merak ediyor olabilirsin. Ancak, hepsi veri hazırlığı ile başlayan ve model değerlendirmesi ile biten benzer bir boru hattını (pipeline) takip eder.

Şimdi, genel öz denetimli gürültü giderme görüntü sürecinin adım adım nasıl çalıştığına daha yakından bakalım.

Link to this sectionAdım: Ön işleme ve normalleştirme#

Model gürültülü görüntülerden öğrenmeye başlamadan önce, ilk adım tüm görüntülerin tutarlı göründüğünden emin olmaktır. Gerçek fotoğraflar çok değişken olabilir.

Bazı görüntüler çok parlak, bazıları çok karanlık olabilir ve bazılarının renkleri biraz farklı olabilir. Bu varyasyonları doğrudan bir modele beslersek, modelin gürültünün neye benzediğini öğrenmeye odaklanması zorlaşır.

Bunu ele almak için, her görüntü normalization ve temel ön işlemeden geçer. Bu, piksel değerlerini standart bir aralığa ölçeklendirmeyi, yoğunluk varyasyonlarını düzeltmeyi veya kırpmayı ve yeniden boyutlandırmayı içerebilir. Anahtar nokta, modelin kararlı, karşılaştırılabilir girdiler olarak kullanılabilecek temiz veriler almasıdır.

Link to this sectionAdım: Öz denetimli bir eğitim sinyali oluşturma#

Görüntüler normalleştirildikten sonra bir sonraki adım, modelin hiç temiz bir görüntü görmeden öğrenmesini sağlayan bir eğitim sinyali oluşturmaktır. Öz denetimli gürültü giderme yöntemleri bunu, modelin aldığı gürültülü piksel değerlerini basitçe kopyalayamamasını sağlayarak yapar.

Bunun yerine, modelin öngörülemez gürültü yerine kararlı bir yapı içeren görüntünün çevreleyen bağlamına güvenmesi gereken durumlar yaratırlar. Farklı yöntemler bunu biraz farklı şekillerde başarır, ancak temel fikir aynıdır.

Bazı yaklaşımlar, modelin onları komşularından çıkarması için belirli pikselleri geçici olarak gizler veya maskelerken, diğerleri aynı gürültülü görüntünün ayrı olarak bozulmuş bir sürümünü oluşturur, böylece girdi ve hedef bağımsız gürültü içerir. Her iki durumda da hedef görüntü anlamlı yapısal bilgiler taşır ancak ağın tahmin etmesi gereken pikselin orijinal gürültülü değerine erişmesini engeller.

Gürültü rastgele değişirken temel görüntü tutarlı kaldığı için, bu kurulum doğal olarak modeli gerçek yapının neye benzediğini öğrenmeye ve bir sürümden diğerine değişen gürültüyü görmezden gelmeye teşvik eder.

Link to this sectionAdım: Görüntü yapısını kurtarmak için gürültü gidermeyi öğrenme#

Eğitim sinyali yerindeyken, model, model eğitimi yoluyla anlamlı görüntü yapısını gürültüden nasıl ayıracağını öğrenmeye başlayabilir. Maskelenmiş veya yeniden bozulmuş bir pikseli her tahmin ettiğinde, o noktayı başlangıçta işgal eden gürültülü değer yerine çevreleyen bağlama güvenmek zorundadır.

Birçok yineleme veya dönem boyunca bu, ağa görüntünün genelinde kararlı kalan kenarlar, dokular ve pürüzsüz yüzeyler gibi kalıpları tanımayı öğretir. Ayrıca gürültüyü karakterize eden rastgele dalgalanmaları görmezden gelmeyi öğrenir.

Örneğin, bir yüzeyin son derece grenli göründüğü düşük ışıklı bir fotoğraf düşün. Gürültü pikselden piksele değişse de, alttaki yüzey hala pürüzsüzdür. Bu bölgelerdeki gizli pikselleri tekrar tekrar çıkararak, model gürültünün altındaki kararlı kalıbı tanımlamada ve onu daha temiz bir şekilde yeniden oluşturmada giderek daha iyi hale gelir.

Model eğitimi sürecinde ağ, görüntünün yapısının dahili bir temsilini öğrenir. Bu, modelin girdi ağır bir şekilde bozulduğunda bile tutarlı detayları kurtarmasını sağlar.

Link to this sectionAdım: Doğrulama ve gürültü azaltma sonuçları#

Model gizli veya yeniden bozulmuş pikselleri tahmin etmeyi öğrendikten sonra, son adım tüm görüntüler üzerinde ne kadar iyi performans gösterdiğini değerlendirmektir. Test sırasında model tüm gürültülü bir görüntü alır ve görüntü yapısı hakkında öğrendiklerine dayanarak gürültüsü giderilmiş tam bir sürüm üretir. Bu sürecin ne kadar etkili olduğunu ölçmek için, çıktı temiz referans görüntüleri veya standart kıyaslama veri setleri ile karşılaştırılır.

Yaygın olarak kullanılan iki metrik, yeniden oluşturmanın temiz yer gerçeğine ne kadar yakın olduğunu ölçen PSNR (Peak Signal-to-Noise Ratio) ve kenarlar ile dokular gibi önemli özelliklerin ne kadar iyi korunduğunu değerlendiren SSIM'dir (Structural Similarity Index). Daha yüksek puanlar genellikle daha doğru ve görsel olarak güvenilir gürültü gidermeyi gösterir.

Link to this sectionEğitim ve kıyaslama için kullanılan görüntü veri setleri#

Diğerlerinin yanı sıra IEEE dergilerinde ve CVF konferanslarında (CVPR, ICCV ve ECCV) yayınlanan ve arXiv'de geniş çapta dağıtılan öz denetimli gürültü giderme araştırmaları, hem kontrollü hem de pratik koşullar altında derin öğrenme yöntemlerinin model performansını değerlendirmek için genellikle sentetik ve gerçek dünya veri setlerinin bir karışımına dayanır. Bir yandan, sentetik veri setleri temiz görüntülerle başlar ve yapay gürültü ekler, bu da PSNR ve SSIM gibi metrikleri kullanarak yöntemleri karşılaştırmayı kolaylaştırır.

İşte kıyaslama için yapay gürültü eklenmiş, yaygın olarak kullanılan bazı popüler veri setleri:

• Kodak24: Bu veri seti, gürültü giderme sonuçlarını görsel olarak karşılaştırmak için yaygın olarak kullanılan yüksek kaliteli doğal sahne fotoğrafları sağlar.
• DIV2K: Bu yüksek çözünürlüklü veri seti, doku sadakatini ve genel restorasyon kalitesini değerlendirmek için kullanılan çeşitli, ayrıntılı görüntüler içerir.

Gerçek dünya gürültülü veri setleri ise, düşük ışık, yüksek ISO veya diğer zorlu koşullar altında doğrudan kamera sensörlerinden yakalanan görüntüleri içerir. Bu veri setleri, bir modelin kolayca simüle edilemeyen karmaşık, Gaussian olmayan gürültüyü ele alıp alamayacağını test eder.

İşte bazı popüler gerçek dünya gürültülü veri setleri:

• SIDD: Bu veri seti, çeşitli aydınlatma ortamlarında akıllı telefon sensörleri ile yakalanan gerçek gürültülü ve temiz görüntü çiftleri sağlar.
• DND: Tüketici kameralarında bulunan gerçekçi sensör gürültüsü kalıplarını yakalayan yüksek ISO fotoğraflarını içerir.

Şekil 4. DND veri setinden bir örnek. (Source)

Link to this sectionÖz denetimli bir gürültü giderme modeli eğitirken göz önünde bulundurulması gereken faktörler#

Derin öğrenme tabanlı öz denetimli bir gürültü giderme modeli eğiteceksen göz önünde bulundurman gereken bazı faktörler ve sınırlamalar şunlardır:

• Gürültü dağılımını eşleştir: Eğitim için kullanılan gürültülü görüntüler, modelin gerçek kullanımda karşılaşacağı gürültüyü yansıtmalıdır; eşleşmeyen gürültü zayıf genellemeye yol açar.
• Eğitim verisi çeşitliliğini sağla: Sınırlı varyasyon, karmaşık dokularda aşırı öğrenmeye (overfitting) veya aşırı düzleştirmeye neden olabilir.
• Gürültü türü sınırlamalarının farkında ol: Öz denetimli yöntemler yapılandırılmış, ilişkili veya rastgele olmayan gürültülerle daha fazla zorlanır.
• Cihazlar veya sensörler arasında test et: Gürültü giderme performansı kameralar veya görüntüleme sistemleri arasında büyük ölçüde değişebilir.

Link to this sectionÖne çıkanlar#

Öz denetimli gürültü giderme, yapay zeka meraklılarına yalnızca elimizde bulunan gürültülü verileri kullanarak görüntüleri temizlemeleri için pratik bir yol sunar. Gürültünün altındaki gerçek yapıyı tanımayı öğrenerek, bu yöntemler önemli görsel detayları kurtarabilir. Gürültü giderme teknolojisi gelişmeye devam ettikçe, günlük ortamlarda çok çeşitli computer vision görevlerini daha güvenilir hale getirmesi muhtemeldir.

Büyüyen community topluluğumuzun bir parçası ol! YZ hakkında daha fazla bilgi edinmek için GitHub repository sayfamıza dal. Computer vision çözümleri oluşturmak istiyorsan, licensing options seçeneklerimize göz at. computer vision in retail avantajlarını keşfet ve AI in manufacturing alanındaki YZ'nin nasıl bir fark yarattığını gör!