Gürültü giderme için öz denetimli öğrenme: Adım adım inceleme

Kameralar dünyayı her zaman bizim gördüğümüz şekilde yakalamaz. Düşük ışıkta çekilmiş bir portre veya hızla hareket eden bir arabanın fotoğrafı grenli, bulanık ya da bozuk görünebilir.

Yavaş sensörler, karanlık ortamlar ve hareket; kenarları yumuşatan ve önemli ayrıntıları gizleyen küçük gürültü benekleri oluşturabilir. Bu netlik kaybolduğunda, gelişmiş yapay zekâ ve makine öğrenimi sistemleri bile bir görüntünün ne içerdiğini anlamakta zorlanabilir; çünkü birçok akıllı sistem iyi çalışmak için bu ince ayrıntılara güvenir.

Örneğin bilgisayarlı görü, makinelerin görüntüleri ve videoları yorumlamasını sağlayan bir yapay zekâ dalıdır. Ancak bunu doğru şekilde yapabilmek için görü yapay zekâsı modellerinin öğrenebileceği temiz ve yüksek kaliteli görsel verilere ihtiyacı vardır.

Özellikle Ultralytics YOLO11 ve yakında çıkacak Ultralytics YOLO26 gibi modeller; nesne algılama, örnek bölütleme ve poz tahmini gibi görevleri destekler ve farklı kullanım alanları için özel olarak eğitilebilir. Bu görevler; kenarlar, dokular, renkler ve ince yapısal ayrıntılar gibi net görsel ipuçlarına dayanır.

Gürültü bu özellikleri örttüğünde model daha zayıf eğitim sinyalleri alır ve doğru örüntüleri öğrenmesi zorlaşır. Sonuç olarak, küçük miktarlardaki gürültü bile gerçek uygulamalardaki performansı düşürebilir.

Daha önce öz denetimli öğrenmenin görüntülerdeki gürültüyü nasıl giderdiğine göz atmıştık. Bu makalede, öz denetimli gürültü giderme tekniklerinin nasıl çalıştığını ve anlamlı görsel bilgilerin geri kazanılmasına nasıl yardımcı olduğunu daha derinlemesine inceleyeceğiz. Hadi başlayalım!

Gerçek dünya görüntülerindeki yaygın gürültü türleri#

Öz denetimli öğrenmenin görüntü gürültüsü gidermede nasıl kullanıldığını incelemeden önce, görüntülerin ilk etapta neden gürültülü hâle geldiğini yeniden ele alalım.

Gerçek dünyadaki nesnelerin ve sahnelerin görüntüleri nadiren kusursuzdur. Düşük aydınlatma, sınırlı sensör kalitesi ve hızlı hareket; görüntüdeki tek tek piksellerde rastgele bozulmalara yol açabilir. Gürültü olarak bilinen bu piksel düzeyindeki bozulmalar genel netliği azaltır ve önemli ayrıntıların görülmesini zorlaştırır.

Gürültü kenarları, dokuları ve ince örüntüleri gizlediğinde, bilgisayarlı görü sistemleri nesneleri tanımakta veya sahneleri doğru şekilde yorumlamakta zorlanır. Farklı koşullar, her biri görüntüyü kendine özgü biçimde etkileyen farklı gürültü türleri oluşturur.

Şekil 1. Gürültünün görüntüde artan belirsizliğe nasıl yol açabileceğine bir örnek. (Kaynak)

Görüntülerde bulunan en yaygın gürültü türlerinden bazıları şunlardır:

• Gauss gürültüsü: Bu gürültü türü, elektronik sensör parazitinin veya termal dalgalanmaların neden olduğu yumuşak, rastgele grenler şeklinde görünür. Küçük piksel değişimlerinin ince ayrıntıları bulanıklaştırdığı ve genel keskinliği azalttığı Gauss (normal) dağılımını izler.
• Poisson gürültüsü: Çekim gürültüsü olarak da adlandırılan bu gürültü türü, düşük ışık koşullarında veya kısa pozlama sürelerinde ortaya çıkar. Varyansı parlaklıkla birlikte artar; ancak daha az foton yakalandığı ve sinyal-gürültü oranı düştüğü için gürültü genellikle daha karanlık bölgelerde daha belirgindir.
• Tuz-biber gürültüsü: Bu gürültü türü, keskin siyah veya beyaz piksel sıçramaları şeklinde görünür. Genellikle iletim hatalarından, bit bozulmasından veya arızalı kamera sensörlerinden kaynaklanır ve çoğu zaman eksik ya da bozulmuş piksel değerlerine yol açar.
• Benek gürültüsü: Bu gürültü türü grenli, nokta benzeri örüntüler şeklinde görünür ve tıbbi, radar ve ultrason görüntülemede yaygındır. Sinyal paraziti ve saçılmadan kaynaklanır; kontrastı azaltır ve kenarların algılanmasını zorlaştırır.

Öz denetimli gürültü gidermeyi ne zaman kullanmalısın?#

Peki, öz denetimli gürültü gidermeyi özel kılan nedir? Temiz, temel gerçek görüntülerin hiç bulunmadığı veya yakalanmasının çok zor olduğu durumlarda öne çıkar.

Bu durum genellikle düşük ışıkta fotoğrafçılıkta, yüksek ISO görüntülemede, tıbbi ve bilimsel görüntülemede veya gürültünün kaçınılmaz olduğu ve kusursuz referans verileri toplamanın gerçekçi olmadığı ortamlarda görülür. Modelin temiz örneklere ihtiyaç duyması yerine, elindeki gürültülü görüntülerden doğrudan öğrenmesi sağlanır; böylece kameranın veya sensörünün belirli gürültü örüntülerine uyum sağlayabilir.

Öz denetimli gürültü giderme, sonraki bilgisayarlı görü görevlerinin performansını artırmak istediğinde ancak veri kümen tutarsız veya gürültülü görüntülerle dolu olduğunda da harika bir seçenektir. Daha net kenarları, dokuları ve yapıları geri kazanarak bu yöntemler, YOLO gibi modellerin sahneleri daha güvenilir şekilde algılamasına, bölütlemesine ve anlamasına yardımcı olur. Kısacası, gürültülü verilerle çalışıyorsan ve temiz eğitim görüntüleri mevcut değilse öz denetimli gürültü giderme çoğu zaman en pratik ve etkili çözümü sunar.

Öz denetimli gürültü gidermeyi mümkün kılan temel teknikler#

Daha önce gördüğümüz gibi öz denetimli gürültü giderme, modellerin temiz etiketlere dayanmadan doğrudan gürültülü görüntülerden öğrenmesini sağlayan, derin öğrenme tabanlı bir yapay zekâ yaklaşımıdır. Modellerin eğitim sinyallerini verinin kendisinden ürettiği öz denetimli öğrenme ilkeleri üzerine kuruludur.

Başka bir deyişle model, hem girdiyi hem de öğrenme sinyalinin kaynağını oluşturan gürültülü görüntüleri kullanarak kendi kendine öğrenebilir. Aynı görüntünün farklı bozulmuş sürümlerini karşılaştırarak veya maskelenmiş pikselleri tahmin ederek model, hangi örüntülerin gerçek yapıyı temsil ettiğini ve hangilerinin yalnızca gürültü olduğunu öğrenir. Yinelemeli optimizasyon ve örüntü tanıma yoluyla ağ, anlamlı görüntü içeriğini rastgele değişkenlikten ayırma becerisini kademeli olarak geliştirir.

Şekil 2. Ham görüntü ve gürültüsü giderilmiş görüntü. (Kaynak)

Bu, modeli kararlı görüntü yapısını rastgele gürültüden ayırmaya yönlendiren belirli öğrenme stratejileri sayesinde mümkün olur. Şimdi bu süreci kolaylaştıran temel teknik ve algoritmalara, ayrıca her yaklaşımın modellerin daha temiz ve güvenilir görüntüleri yeniden oluşturmasına nasıl yardımcı olduğuna daha yakından bakalım.

İkili görüntü gürültüsü giderme yöntemleri#

Gürültü gidermeye yönelik ilk öz denetimli öğrenme yöntemlerinin çoğu, aynı görüntünün iki gürültülü sürümünü karşılaştırarak çalışıyordu. Bir görüntü her yakalandığında veya bozulduğunda gürültü rastgele değişirken gerçek yapı aynı kaldığından, bu farklılıklar bir model için öğrenme sinyali olarak kullanılabilir.

Bu yaklaşımlar, eğitim sırasında gürültülü görüntü çiftlerinin kullanılmasına veya oluşturulmasına dayandıkları için yaygın olarak ikili görüntü gürültüsü giderme yöntemleri olarak adlandırılır. Örneğin, Noise2Noise yaklaşımı (Jaakko Lehtinen ve ekibi tarafından önerilmiştir), aynı sahnenin bağımsız şekilde gürültülenmiş iki görüntüsünü kullanarak bir modeli eğitir. İki sürümdeki gürültü örüntüleri farklı olduğundan model, gerçek temel görüntüyü temsil eden tutarlı ayrıntıları belirlemeyi öğrenir.

Şekil 3. Noise2Noise nasıl çalışır (Kaynak)

Zamanla bu, ağın temiz bir referans görüntü görmemesine rağmen rastgele gürültüyü bastırmayı ve gerçek yapıyı korumayı öğrenmesini sağlar. Gece düşük ışıklı bir sokağın iki fotoğrafını çektiğin basit bir senaryoyu düşün.

Her görüntüde aynı binalar, ışıklar ve gölgeler bulunur; ancak grenli gürültü farklı yerlerde görünür. Öz denetimli bir model, eğitim sırasında bu iki gürültülü fotoğrafı karşılaştırarak hangi görsel örüntülerin kararlı olduğunu ve hangilerinin gürültüden kaynaklandığını öğrenebilir; böylece daha temiz görüntüleri yeniden oluşturma becerisini geliştirir.

Gürültü gidermeye yönelik kör nokta tabanlı öz denetimli öğrenme yöntemleri#

İkili yöntemler aynı görüntünün farklı şekilde bozulmuş iki sürümünü karşılaştırmaya dayanırken, kör nokta yöntemleri farklı bir yaklaşım benimser. Seçili pikselleri gizleyerek ağın bu piksellerin bozulmuş değerlerini görememesini sağlar ve modelin tek bir gürültülü görüntüden öğrenmesine imkân tanır.

Model daha sonra gizli pikselleri yalnızca çevredeki bağlamı kullanarak tahmin etmek zorundadır. Temel fikir, gürültünün rastgele olduğu, ancak görüntünün temel yapısının rastgele olmadığıdır.

Modelin bir pikselin gürültülü değerini kopyalamasını engelleyen kör nokta yöntemleri, modeli bu pikselin ne olması gerektiğini yakındaki kenarlar, dokular veya renk gradyanları gibi kararlı görüntü örüntülerine dayanarak çıkarsamaya teşvik eder. Noise2Void (Alexander Krull ve ekibi tarafından tanıtılmıştır) ve Noise2Self (Joshua Batson ve Loïc Royer tarafından geliştirilmiştir) gibi teknikler, tek tek pikselleri veya küçük komşulukları maskeleyip modeli bunları yeniden oluşturmaya eğiterek bu ilkeyi uygular.

Noise2Same ve PN2V dahil olmak üzere daha gelişmiş yaklaşımlar, birden fazla maskelenmiş sürüm arasında tutarlı tahminler zorunlu kılarak veya belirsizliği tahmin etmek için gürültü dağılımını açıkça modelleyerek dayanıklılığı artırır. Bu yöntemler yalnızca tek bir gürültülü görüntü gerektirdiğinden, temiz veya eşleştirilmiş görüntülerin yakalanmasının pratik olmadığı ya da imkânsız olduğu mikroskopi, astronomi, biyomedikal görüntüleme veya düşük ışıkta fotoğrafçılık gibi alanlarda özellikle kullanışlıdır.

Transformer destekli gürültü giderme yöntemleri#

İkili ve kör nokta tabanlı öz denetimli gürültü giderme yöntemlerinin çoğu evrişimli sinir ağlarına (CNN) veya gürültü giderme ağlarına dayanır. CNN'ler, kenarlar, dokular ve küçük ayrıntılar gibi yerel örüntülere odaklandıkları için bu yaklaşımlar için harika bir seçenektir.

U-Net gibi mimariler, ince ayrıntılı özellikleri çok ölçekli bilgilerle birleştirdikleri için yaygın olarak kullanılır. Ancak CNN'ler çoğunlukla sınırlı komşuluklar içinde çalışır; bu da görüntünün daha geniş bölgelerine yayılan önemli ilişkileri gözden kaçırabilecekleri anlamına gelir.

Bu sınırlamayı gidermek için Transformer destekli, son teknoloji gürültü giderme yöntemleri ortaya konmuştur. Önerilen yöntem, yalnızca yakındaki piksellere bakmak yerine görüntünün farklı bölümlerinin birbiriyle nasıl ilişkili olduğunu anlamak için dikkat mekanizmalarını kullanır.

Bazı modeller tam küresel dikkat kullanırken, diğerleri hesaplama maliyetini azaltmak için pencere tabanlı veya hiyerarşik dikkat kullanır; ancak genel olarak hepsi CNN'lerin tek başına yakalayamadığı uzun menzilli yapıyı yakalamak üzere tasarlanmıştır. Bu daha geniş bakış, modelin görüntünün farklı bölgelerinden bilgi gerektiren yinelenen dokuları, pürüzsüz yüzeyleri veya büyük nesneleri geri oluşturmasına yardımcı olur.

Diğer görüntü gürültüsü giderme yöntemleri#

Öz denetimli tekniklerin yanı sıra, gürültülü görüntüleri temizlemenin başka yolları da vardır. Bilateral filtreleme, dalgacık gürültü giderme ve yerel olmayan ortalamalar gibi geleneksel yöntemler, önemli ayrıntıları korumaya çalışırken gürültüyü yumuşatmak için basit matematiksel kurallar kullanır.

Bununla birlikte, temiz-gürültülü görüntü çiftlerinden öğrenen denetimli modeller ve daha keskin, daha gerçekçi sonuçlar üreten üretici çekişmeli ağlar (GAN) dahil olmak üzere derin öğrenme yaklaşımları da vardır. Ancak bu yöntemler genellikle eğitim için daha yüksek görüntü kalitesi gerektirir.

Öz denetimli görüntü gürültüsü gidermenin nasıl çalıştığına adım adım bakış#

Az önce birkaç farklı teknikten söz ettiğimiz için, kendi mimarilerini kullandıkları göz önüne alındığında her birinin tamamen farklı bir şekilde çalışıp çalışmadığını merak ediyor olabilirsin. Ancak hepsi veri hazırlamayla başlayıp model değerlendirmeyle sona eren benzer bir işlem hattını izler.

Şimdi genel öz denetimli görüntü gürültüsü giderme sürecinin adım adım nasıl çalıştığına daha yakından bakalım.

Adım: Ön işleme ve normalleştirme#

Model gürültülü görüntülerden öğrenmeye başlamadan önce ilk adım, tüm görüntülerin tutarlı görünmesini sağlamaktır. Gerçek fotoğraflar büyük ölçüde farklılık gösterebilir.

Bazı görüntüler fazla parlak, bazıları fazla karanlık olabilir ve bazılarının renkleri biraz hatalı görünebilir. Bu değişkenlikleri doğrudan bir modele verirsek modelin gürültünün nasıl göründüğünü öğrenmeye odaklanması zorlaşır.

Bunu ele almak için her görüntü normalleştirme ve temel ön işleme adımlarından geçirilir. Bu işlemler, piksel değerlerinin standart bir aralığa ölçeklenmesini, yoğunluk farklılıklarının düzeltilmesini veya kırpma ve yeniden boyutlandırmayı içerebilir. Temel nokta, modelin kararlı ve karşılaştırılabilir girdiler olarak kullanılabilecek temiz veriler almasıdır.

Adım: Öz denetimli eğitim sinyali oluşturma#

Görüntüler normalleştirildikten sonra sonraki adım, modelin temiz bir görüntü görmeden öğrenmesini sağlayan bir eğitim sinyali oluşturmaktır. Öz denetimli gürültü giderme yöntemleri bunu, modelin aldığı gürültülü piksel değerlerini basitçe kopyalayamamasını sağlayarak yapar.

Bunun yerine modelin, öngörülemeyen gürültü yerine kararlı bir yapı içeren görüntünün çevresindeki bağlama dayanması gereken durumlar oluşturulur. Farklı yöntemler bunu biraz farklı şekillerde başarsa da temel fikir aynıdır.

Bazı yaklaşımlar belirli pikselleri geçici olarak gizler veya maskeler; böylece model bunları komşularından çıkarsamak zorunda kalır. Diğerleri ise aynı gürültülü görüntünün ayrı bir şekilde bozulmuş sürümünü oluşturarak girdi ve hedefte bağımsız gürültü bulunmasını sağlar. Her iki durumda da hedef görüntü anlamlı yapısal bilgiler taşır, ancak ağın tahmin etmesi gereken pikselin özgün gürültülü değerine erişmesini engeller.

Gürültü rastgele değişirken temel görüntü tutarlı kaldığı için bu düzenek, modeli gerçek yapının nasıl göründüğünü öğrenmeye ve bir sürümden diğerine değişen gürültüyü yok saymaya doğal olarak teşvik eder.

Adım: Görüntü yapısını geri kazanmak için gürültü gidermeyi öğrenme#

Eğitim sinyali hazır olduğunda model, model eğitimi yoluyla anlamlı görüntü yapısını gürültüden ayırmayı öğrenmeye başlayabilir. Maskelenmiş veya yeniden gürültülenmiş bir pikseli her tahmin ettiğinde, o konumda başlangıçta bulunan gürültülü değer yerine çevresindeki bağlama dayanmak zorundadır.

Çok sayıda yineleme veya dönem boyunca bu, ağın görüntü genelinde kararlı kalan kenarlar, dokular ve pürüzsüz yüzeyler gibi örüntüleri tanımasını öğretir. Ağ ayrıca gürültüyü karakterize eden rastgele dalgalanmaları görmezden gelmeyi öğrenir.

Örneğin, bir yüzeyin son derece grenli göründüğü düşük ışıklı bir fotoğrafı düşün. Gürültü pikselden piksele değişse de temel yüzey hâlâ pürüzsüzdür. Model, bu tür bölgelerdeki gizli pikselleri tekrar tekrar çıkarımlayarak gürültünün altındaki kararlı örüntüyü belirleme ve onu daha temiz şekilde yeniden oluşturma konusunda giderek daha iyi hâle gelir.

Model eğitimi süreci boyunca ağ, görüntünün yapısının içsel bir temsilini öğrenir. Bu, girdi büyük ölçüde bozulmuş olsa bile modelin tutarlı ayrıntıları geri kazanmasını sağlar.

Adım: Doğrulama ve gürültü azaltma sonuçları#

Model gizli veya yeniden gürültülenmiş pikselleri tahmin etmeyi öğrendikten sonra son adım, tam görüntüler üzerindeki performansını değerlendirmektir. Test sırasında model, görüntü yapısı hakkında öğrendiklerine dayanarak gürültülü görüntünün tamamını alır ve gürültüsü giderilmiş eksiksiz bir sürüm üretir. Bu sürecin ne kadar etkili olduğunu ölçmek için çıktı, temiz referans görüntülerle veya standart kıyaslama veri kümeleriyle karşılaştırılır.

Yaygın olarak kullanılan iki metrik, yeniden oluşturulan görüntünün temiz temel gerçeğe ne kadar yakın olduğunu ölçen PSNR (Tepe Sinyal-Gürültü Oranı) ve kenarlar ile dokular gibi önemli özelliklerin ne ölçüde korunduğunu değerlendiren SSIM (Yapısal Benzerlik İndeksi) metrikleridir. Daha yüksek puanlar genellikle daha doğru ve görsel olarak daha güvenilir gürültü gidermeye işaret eder.

Eğitim ve kıyaslama için kullanılan görüntü veri kümeleri#

IEEE dergilerinde ve CVF konferanslarında, özellikle CVPR, ICCV ve ECCV'de yayımlanan ve arXiv'de geniş çapta paylaşılan öz denetimli gürültü giderme araştırmaları, derin öğrenme yöntemlerinin kontrollü ve pratik koşullardaki model performansını değerlendirmek için genellikle sentetik ve gerçek dünya veri kümelerinin bir birleşimine dayanır. Bir yandan sentetik veri kümeleri temiz görüntülerle başlar ve yapay gürültü ekler; bu da PSNR ve SSIM gibi metrikleri kullanarak yöntemleri karşılaştırmayı kolaylaştırır.

Kıyaslama için sentetik gürültü eklenerek yaygın olarak kullanılan bazı popüler veri kümeleri şunlardır:

• Kodak24: Bu veri kümesi, gürültü giderme sonuçlarını görsel olarak karşılaştırmak için yaygın olarak kullanılan yüksek kaliteli doğal sahne fotoğrafları sunar.
• DIV2K: Bu yüksek çözünürlüklü veri kümesi, doku aslına uygunluğunu ve genel geri oluşturma kalitesini değerlendirmek için kullanılan çeşitli ve ayrıntılı görüntüler içerir.

Öte yandan gerçek dünya gürültülü veri kümeleri, düşük ışıkta, yüksek ISO'da veya diğer zorlu koşullarda doğrudan kamera sensörlerinden alınan görüntüleri içerir. Bu veri kümeleri, kolayca simüle edilemeyen karmaşık ve Gauss olmayan gürültüyle modelin başa çıkıp çıkamadığını sınar.

İşte gerçek dünyadan bazı popüler gürültülü veri kümeleri:

• SIDD: Bu veri kümesi, çeşitli aydınlatma ortamlarında akıllı telefon sensörleriyle yakalanmış gerçek gürültülü ve temiz görüntü çiftleri sunar.
• DND: Tüketici kameralarında bulunan gerçekçi sensör gürültüsü örüntülerini yakalayan yüksek ISO'lu fotoğraflar içerir.

Şekil 4. DND veri kümesinden bir örnek. (Kaynak)

Öz denetimli bir gürültü giderme modeli eğitirken dikkate alınması gereken faktörler#

Derin öğrenme tabanlı öz denetimli bir gürültü giderme modeli eğiteceksen dikkate alman gereken bazı faktörler ve sınırlamalar şunlardır:

• Gürültü dağılımını eşleştir: Eğitimde kullanılan gürültülü görüntüler, modelin gerçek kullanımda karşılaşacağı gürültüyü yansıtmalıdır; eşleşmeyen gürültü, zayıf genellemeye yol açar.
• Eğitim verilerinin çeşitliliğini sağla: Sınırlı çeşitlilik, karmaşık dokularda aşırı öğrenmeye veya aşırı yumuşatmaya neden olabilir.
• Gürültü türü sınırlamalarının farkında ol: Öz denetimli yöntemler yapılandırılmış, ilişkili veya rastgele olmayan gürültülerde daha fazla zorlanır.
• Cihazlar veya sensörler arasında test yap: Gürültü giderme performansı kameralar veya görüntüleme sistemleri arasında büyük ölçüde değişebilir.

Önemli çıkarımlar#

Öz denetimli gürültü giderme, yapay zekâ meraklılarına yalnızca hâlihazırda sahip olduğumuz gürültülü verileri kullanarak görüntüleri temizlemenin pratik bir yolunu sunar. Gürültünün altındaki gerçek yapıyı tanımayı öğrenen bu yöntemler, önemli görsel ayrıntıları geri kazanabilir. Gürültü giderme teknolojisi gelişmeye devam ettikçe, bilgisayarlı görü görevlerinin geniş bir yelpazesini günlük ortamlarda daha güvenilir hâle getirmesi muhtemeldir.

Büyüyen topluluğumuzun bir parçası ol! Yapay zekâ hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Bilgisayarlı görü çözümleri geliştirmek istiyorsan lisanslama seçeneklerimize göz at. Perakendede bilgisayarlı görünün avantajlarını keşfet ve üretimde yapay zekânın nasıl fark yarattığını gör!