Görüntüleri gürültüden arındırmak için öz denetimli öğrenmeyi kullanma

Görüntüler, çektiğimiz fotoğraflardan kameraların halka açık yerlerde kaydettiği videolara kadar günlük yaşamımızın bir parçasıdır. İçgörü sağlayan bilgiler içerirler ve en son teknoloji, bu verileri analiz etmeyi ve yorumlamayı mümkün kılar.

Özellikle yapay zekanın (AI) bir kolu olan computer vision, makinelerin görsel bilgileri işlemesini ve tıpkı insanların yaptığı gibi gördüklerini anlamasını sağlar. Ancak gerçek dünya uygulamalarında görüntüler genellikle kusursuz olmaktan uzaktır.

Yağmur, toz, düşük ışık veya sensör sınırlamalarından kaynaklanan görüntü gürültüsü, önemli detayları gizleyebilir ve Vision AI models modellerinin nesneleri tespit etmesini veya sahneleri doğru bir şekilde yorumlamasını zorlaştırabilir. Görüntü gürültü giderme, bu gürültüyü azaltarak Vision AI modellerinin detayları daha net görmesini ve daha iyi tahminler yapmasını mümkün kılar.

Şekil 1. Bir görüntü gürültü giderme örneği. (Source)

Geleneksel olarak görüntü temizleme, gürültüyü nasıl gidereceklerini öğrenmek için gürültülü ve temiz görüntü çiftleri kullanılarak modellerin eğitildiği denetimli öğrenmeye dayanıyordu. Ancak mükemmel derecede temiz referans görüntüleri toplamak her zaman pratik değildir.

Bu zorluğun üstesinden gelmek için araştırmacılar self-supervised görüntü gürültü gidericiler geliştirmiştir. Temiz referans görüntülere ihtiyaç duyulmadan gürültüyü gidermek ve önemli detayları korumak için kendi öğrenme sinyallerini oluşturarak yapay zeka modellerini doğrudan verilerden öğrenmeye eğitmeyi amaçlarlar.

Bu makalede öz denetimli görüntü temizleyicilere, nasıl çalıştıklarına, arkasındaki temel tekniklere ve gerçek dünya uygulamalarına daha yakından bakacağız. Hadi başlayalım!

Öz denetimli görüntü temizleme nedir?#

Gürültülü görüntüler, Vision AI modellerinin bir resimde ne olduğunu yorumlamasını zorlaştırabilir. Örneğin, düşük ışık koşullarında çekilen bir fotoğraf pürüzlü veya bulanık görünebilir ve bu durum, bir modelin nesneleri doğru bir şekilde tanımlamasına yardımcı olan ince özellikleri gizleyebilir.

supervised learning tabanlı gürültü gidermede, istenmeyen gürültünün nasıl giderileceğini öğrenmek için modeller, biri gürültülü diğeri temiz olmak üzere görüntü çiftleri kullanılarak eğitilir. Bu yaklaşım iyi sonuç verse de, gerçek dünya senaryolarında tamamen temiz referans verileri toplamak genellikle zaman alıcı ve zordur.

Araştırmacıların öz denetimli görüntü temizlemeye yönelmesinin nedeni budur. Öz denetimli görüntü temizleme, modellerin verilerden kendi öğrenme sinyallerini oluşturarak kendilerini eğittiği öz denetimli öğrenme kavramına dayanır.

Bu yöntem büyük etiketli veri kümelerine bağlı olmadığından, öz denetimli temizleme daha hızlıdır, daha ölçeklenebilirdir ve temiz referans görüntülerinin genellikle bulunmadığı düşük ışıklı fotoğrafçılık, tıbbi görüntüleme ve uydu görüntüsü analizi gibi alanlarda uygulaması daha kolaydır.

Bu yaklaşım, temiz referans görüntüleri yerine, maskelenmiş pikselleri tahmin ederek veya eksik kısımları yeniden oluşturarak doğrudan gürültülü veriler üzerinde eğitim yapar. Bu süreç sayesinde model, anlamlı görüntü detayları ile rastgele gürültü arasındaki farkı ayırt etmeyi öğrenir ve daha net, daha doğru çıktılar elde edilir.

unsupervised learning ile benzer görünebilse de, öz denetimli öğrenme aslında bunun özel bir durumudur. Temel fark, öz denetimli öğrenmede modelin belirli bir görevi öğrenmek için verilerden kendi etiketlerini veya eğitim sinyallerini oluşturmasıdır. Buna karşılık, denetimsiz öğrenme, açık bir görev veya önceden tanımlanmış bir hedef olmaksızın verilerdeki gizli kalıpları veya yapıları bulmaya odaklanır.

Öz denetimli temizlemede öğrenme stratejileri#

Öz denetimli temizleme söz konusu olduğunda, öğrenmenin gerçekleştiği birkaç yol vardır. Bazı öz denetimli temizleme modelleri maskelenmiş veya eksik pikselleri doldururken, diğerleri tutarlı detayları bulmak için aynı görüntünün birden fazla gürültülü versiyonunu karşılaştırır.

Örneğin, kör nokta öğrenme (blind-spot learning) olarak bilinen popüler bir yöntem, temizleyici modeli yeniden oluşturduğu pikseli görmezden gelmeye ve bunun yerine çevreleyen bağlama güvenmeye eğitir. Zamanla model, temel dokuları, kenarları ve renkleri korurken yüksek kaliteli görüntüleri yeniden oluşturur.

Öz denetimli öğrenme gürültüyü gidermek için nasıl çalışır?#

Ardından, öz denetimli öğrenmenin gürültüyü nasıl giderdiğinin arkasındaki süreci inceleyeceğiz.

Öz denetimli temizleme süreci genellikle gürültülü görüntülerin temizleme modeline beslenmesiyle başlar. Model, her bir belirsiz veya maskelenmiş pikselin nasıl görünmesi gerektiğini tahmin etmek için yakındaki pikselleri analiz eder ve yavaş yavaş gürültü ile gerçek görsel detaylar arasındaki farkı ayırt etmeyi öğrenir.

Karanlık, pürüzlü bir gökyüzü görüntüsü düşünün. Model, her bir gürültülü yamanın gürültü olmadan nasıl görünmesi gerektiğini tahmin etmek için yakındaki yıldızlara ve çevreleyen desenlere bakar. Bu süreci tüm görüntü boyunca tekrarlayarak, rastgele gürültüyü anlamlı özelliklerden ayırmayı öğrenir ve daha net, daha doğru bir sonuç üretir.

Başka bir deyişle model, mükemmel derecede temiz bir referansa ihtiyaç duymadan, bağlama dayalı olarak görüntünün daha temiz bir versiyonunu tahmin eder. Bu süreç, her biri gürültüyü yönetmede benzersiz güçlü yönlere sahip farklı model türleri kullanılarak uygulanabilir.

Öz denetimli görüntü gürültüsü azaltma için kullanılan model türleri#

İşte öz denetimli görüntü temizleme için yaygın olarak kullanılan model türlerine hızlı bir bakış:

• Convolutional Neural Networks (CNN'ler): CNN'ler, bir görüntünün küçük bölgelerindeki kalıpları tanımak için tasarlanmış derin öğrenme modelleridir. Kenarları, şekilleri ve dokuları tespit etmek için filtreler kullanarak görüntüleri tararlar. Öz denetimli gürültü gidermede genellikle, hedef pikselin girdiden hariç tutulduğu ve böylece modelin değerini yalnızca çevreleyen piksellere dayanarak tahmin ettiği kör nokta tekniklerini kullanırlar. Bu, modelin gürültüyü kopyalamaktan kaçınmasına yardımcı olur ve bunun yerine daha temiz detaylar çıkarır.
• Otokodlayıcılar: Otokodlayıcılar, verileri sıkıştırmayı ve yeniden oluşturmayı öğrenen sinir ağlarıdır. Önce bir görüntüyü daha küçük bir temsile indirgerler (kodlama) ve ardından yeniden oluştururlar (kod çözme). Bu süreçte, rastgele gürültüleri ve alakasız detayları filtrelerken şekiller ve dokular gibi önemli görsel özellikleri yakalamayı öğrenirler.
• Transformer tabanlı modeller: Transformer'lar başlangıçta doğal dil işleme için geliştirilmiş ancak günümüzde görsel görevler için yaygın olarak kullanılan modellerdir. Tüm görüntüyü bir kerede işleyerek farklı bölgelerin birbirleriyle nasıl ilişkili olduğunu öğrenirler. Bu küresel perspektif, karmaşık veya yüksek çözünürlüklü görüntülerde bile ince detayları ve yapısal tutarlılığı korumalarını sağlar.

Şekil 2. Öz denetimli görüntü gürültü giderme için kullanılan CNN tabanlı bir mimariye genel bakış. (Source)

Bu modelleri farklı ışıklandırma ve ISO ayarlarında çekilmiş görüntülerle eğitmek, birçok gerçek dünya durumunda iyi çalışmalarına yardımcı olur. Dijital kameralarda ISO ayarları, kameranın aldığı sinyali güçlendirerek görüntüyü ne kadar parlak hale getireceğini kontrol eder.

Daha yüksek bir ISO, karanlık yerlerde fotoğrafları daha parlak hale getirir ancak aynı zamanda gürültüyü artırır ve detayları azaltır. Farklı ISO seviyelerinde çekilen görüntülerden öğrenerek, modeller gerçek detayları gürültüden ayırmada daha iyi hale gelir ve daha net, daha doğru sonuçlar ortaya çıkar.

Bir temizleyici, neyin gürültü neyin gerçek olduğunu nasıl öğrenir?#

Temizleyiciler, gürültüyü gerçek görüntü detaylarından ayırt etmeyi, temizleme için kullanılan model türlerinden ayrı olan farklı eğitim teknikleriyle öğrenirler. CNN'ler, otokodlayıcılar ve transformer'lar gibi model türleri, ağın yapısını ve görsel bilgileri nasıl işlediğini tanımlar.

Eğitim teknikleri ise modelin nasıl öğrendiğini tanımlar. Bazı yöntemler, modelin eksik veya maskelenmiş pikselleri yakındaki alanlardan gelen bilgileri kullanarak doldurduğu bağlam tabanlı tahmini kullanır.

Diğerleri, modelin bir görüntüyü daha basit bir forma sıkıştırıp ardından yeniden oluşturduğu, rastgele gürültüleri filtrelerken kenarlar ve dokular gibi anlamlı yapıları tanımasına yardımcı olan yeniden oluşturma tabanlı öğrenmeyi kullanır.

Model türü ve eğitim tekniği birlikte, bir temizleyicinin görüntüleri ne kadar etkili bir şekilde temizleyebileceğini belirler. Doğru mimariyi doğru öğrenme yaklaşımıyla birleştirerek, öz denetimli temizleyiciler birçok gürültü türüne uyum sağlayabilir ve temiz referans verileri olmadan bile daha net, daha doğru görüntüler üretebilir.

Öz denetimli AI görüntü temizlemedeki temel teknikler#

İşte etkili öz denetimli görüntü temizlemeyi mümkün kılan en yaygın kullanılan eğitim tekniklerinden bazıları:

• Noise2Noise: Bu yöntem, aynı görüntünün iki gürültülü versiyonunu kullanarak bir modeli eğitir. Her versiyondaki gürültü rastgele olduğundan, model gerçek görüntüyü temsil eden tutarlı detaylara odaklanmayı ve gürültüyü görmezden gelmeyi öğrenir. Seri çekim fotoğrafçılığı veya tıbbi ve bilimsel görüntüleme gibi aynı sahnenin birden fazla gürültülü çekiminin mevcut olduğu durumlarda en iyi sonucu verir.
• Noise2Void veya Noise2Self: Bu teknikler, bir pikseli gizleyerek (maskeleyerek) ve modelden çevreleyen piksellere dayanarak değerini tahmin etmesini isteyerek tek bir gürültülü görüntü üzerinde eğitim yapar. Bu, modelin gürültülü verileri basitçe kopyalamasını engeller ve görüntülerin doğal yapısını öğrenmesine yardımcı olur. Özellikle mikroskopi, astronomi veya düşük ışıklı fotoğrafçılık gibi sadece tek bir gürültülü görüntünün mevcut olduğu durumlarda yararlıdır.
• Kör nokta ağları: Bunlar, modelin yeniden oluşturduğu pikseli göremeyeceği şekilde özel olarak tasarlanmıştır. Bunun yerine, o pikselin nasıl görünmesi gerektiğini tahmin etmek için çevredeki alandan gelen bilgilere güvenirler. Bu, gürültü gidermeyi daha doğru ve tarafsız hale getirir; genellikle piksel tabanlı temizleme görevlerinde Noise2Void veya Noise2Self yöntemleriyle birleştirilirler.
• Maskeli Otokodlayıcılar (MAE): Bu yaklaşımda bir görüntünün bazı kısımları gizlenir ve model eksik alanları yeniden oluşturmayı öğrenir. Bunu yaparak hem ince detayları hem de genel yapıyı öğrenir ve gerçek içeriği gürültüden ayırt etmesine yardımcı olur. Maskeli otokodlayıcılar, daha geniş bağlamı anlamanın restorasyonu iyileştirdiği yüksek çözünürlüklü veya karmaşık görüntüler için özellikle etkilidir.

Görüntü temizleme sistemlerini değerlendirme#

Görüntü temizleme, gürültüyü azaltmak ve ince detayları korumak gibi iki hedef arasında hassas bir dengedir. Çok fazla temizleme görüntünün yumuşak veya bulanık görünmesine neden olabilirken, çok az temizleme istenmeyen tanecikler veya yapaylıklar bırakabilir.

Bir modelin bu dengeyi ne kadar iyi kurduğunu anlamak için araştırmacılar, hem görüntü netliğini hem de detay korumasını ölçen değerlendirme metrikleri kullanırlar. Bu metrikler, bir modelin önemli görsel bilgileri kaybetmeden bir görüntüyü ne kadar iyi temizlediğini gösterir.

İşte görüntü kalitesini ve temizleme performansını ölçmeye yardımcı olan yaygın değerlendirme metrikleri:

• Ortalama Kare Hata (MSE): Orijinal ve temizlenmiş görüntüler arasındaki ortalama karesel farkı ölçer. Çıktının orijinaline piksel düzeyinde ne kadar yakın olduğunu vurgular. Daha düşük MSE değerleri, daha az hata ve daha doğru bir sonuç anlamına gelir.
• Tepe Sinyal-Gürültü Oranı (PSNR): Bu metrik, orijinal görüntü sinyalinin gücünü desibel cinsinden ifade edilen kalan gürültüyle karşılaştırır. Temizlemeden sonra orijinal detayın ne kadarının korunduğunu görmek için kullanılır. Daha yüksek PSNR değerleri, daha net ve yüksek kaliteli görüntüler anlamına gelir.
• Yapısal Benzerlik İndeksi (SSIM): SSIM, temizlenmiş görüntü ile orijinal arasındaki benzerliği değerlendirmek için yapıyı, parlaklığı ve kontrastı değerlendirir. Sadece ham sayılara değil, insanların görüntüleri nasıl gördüğüne odaklanır. Daha yüksek SSIM puanları, görüntünün daha doğal ve orijinaline sadık göründüğü anlamına gelir.
• Algısal metrikler: Bu metrikler, bir görüntünün ne kadar gerçekçi ve doğal göründüğünü değerlendirmek için deep learning modellerini kullanır. Tek tek pikselleri karşılaştırmak yerine genel görünüme, dokuya ve görsel benzerliğe odaklanırlar. Çoğu durumda, daha düşük puanlar görüntünün orijinaline daha yakın göründüğü ve insanlar için görsel olarak daha hoş olduğu anlamına gelir.

Öz denetimli temizlemenin uygulamaları#

Artık temizlemenin ne olduğunu daha iyi anladığımıza göre, öz denetimli görüntü temizlemenin gerçek dünya senaryolarında nasıl uygulandığını keşfedelim.

Astrofotoğrafçılıkta öz denetimli temizleme kullanma#

Yıldızların ve galaksilerin net fotoğraflarını çekmek kolay değildir. Gece gökyüzü karanlıktır, bu nedenle kameralar genellikle uzun pozlama sürelerine ihtiyaç duyar, bu da istenmeyen gürültüye neden olabilir. Bu gürültü, ince kozmik detayları bulanıklaştırabilir ve sönük sinyallerin tespit edilmesini zorlaştırabilir.

Geleneksel temizleme araçları gürültüyü azaltmaya yardımcı olabilir ancak genellikle onunla birlikte önemli detayları da silerler. Öz denetimli temizleme, daha akıllı bir alternatif sunar. Doğrudan gürültülü görüntülerden öğrenerek, AI modeli gerçek özellikleri temsil eden desenleri tanıyabilir ve onları rastgele gürültüden ayırabilir.

Sonuç, yıldızlar, galaksiler ve Güneş gibi gök cisimlerinin çok daha net görüntüleri olup, aksi takdirde fark edilmeyebilecek sönük detayları ortaya çıkarır. Ayrıca, görüntü netliğini artırarak ve verileri bilimsel araştırma için daha kullanışlı hale getirerek ince astronomik özellikleri iyileştirebilir.

Şekil 3. Görüntü gürültü giderme, astrofotoğrafçılık görüntülerini iyileştirebilir. (Source)

Tıbbi görüntüleme için öz denetimli temizleme#

MRI, BT ve mikroskopi görüntüleri gibi tıbbi taramalar, küçük detayların görülmesini zorlaştırabilen gürültüleri genellikle bünyesinde barındırır. Doktorların hastalık belirtilerini erken fark etmeleri veya zaman içindeki değişimleri takip etmeleri gerektiğinde bu bir sorun olabilir.

Görüntü gürültüsü; hasta hareketinden, düşük sinyal gücünden veya kullanılabilecek radyasyon miktarındaki sınırlamalardan kaynaklanabilir. Tıbbi taramaları daha net hale getirmek için araştırmacılar, Noise2Self ve benzeri diğer öz denetimli temizleme yöntemlerini keşfettiler.

Bu modeller doğrudan gürültülü beyin MRI görüntüleri üzerinde eğitilir, gürültü desenlerini kendi başlarına öğrenir ve mükemmel derecede net örneklere ihtiyaç duymadan bunları temizlerler. İşlenmiş görüntüler daha keskin dokular ve daha iyi kontrast sergileyerek ince yapıların tanımlanmasını kolaylaştırır. Bu tür AI destekli temizleyiciler, tanısal görüntülemedeki iş akışını düzene sokar ve gerçek zamanlı analiz verimliliğini artırır.

Şekil 4. Beyin MR taramalarında farklı öz denetimli gürültü giderme tekniklerinin kullanımı. (Source)

Görü sistemlerini öz denetimli temizleme ile geliştirme#

Çoğu durumda temizleme, çok çeşitli bilgisayarlı görü uygulamalarında önemli bir etkiye sahiptir. İstenmeyen gürültüleri ve bozulmaları gidererek, Vision AI modellerinin işlemesi için daha temiz ve daha tutarlı giriş verileri üretir.

Daha net görüntüler, nesne tespiti, örnek bölütleme ve görüntü tanıma gibi computer vision tasks görevlerinde gelişmiş performans sağlar. İşte Ultralytics YOLO11 ve Ultralytics YOLO26 gibi Vision AI modellerinin gürültü gidermeden yararlanabileceği uygulama örneklerinden bazıları:

• Endüstriyel denetim: Temizleme, üretim ortamlarındaki yüzey kusurlarının veya anormalliklerin daha doğru tespit edilmesini sağlayarak kalite kontrolünü iyileştirir.
• Otonom sürüş ve navigasyon: Düşük ışık, yağmur veya sis gibi zorlu koşullarda nesne ve engel tespitini geliştirerek genel güvenliği ve güvenilirliği artırır.
• Gözetim ve güvenlik: Temizleme, düşük ışıklı veya yüksek sıkıştırmalı video akışlarındaki görüntü kalitesini artırarak nesnelerin veya kişilerin daha iyi tanımlanmasını ve takip edilmesini sağlar.
• Underwater imaging: Gürültü giderme, bulanık su altı koşullarında saçılmayı ve ışık bozulmasını azaltarak görünürlüğü ve nesne tanımayı geliştirir.

Öz denetimli temizlemenin artıları ve eksileri#

Görüntüleme sistemlerinde öz denetimli temizleme kullanmanın bazı önemli faydaları şunlardır:

• Gürültü uyarlanabilirliği: Öz denetimli temizleme yöntemleri, eşleştirilmiş temiz referanslara ihtiyaç duymadan doğrudan gürültülü verilerden öğrenebilir. Bu, onları sensör gürültüsü, hareket bulanıklığı veya çevresel parazit gibi çok çeşitli gerçek dünya gürültü seviyelerine ve türlerine karşı oldukça uyumlu hale getirir.
• Detay koruma: İyi tasarlandıklarında bu modeller, doğru görüntü yorumlama için gerekli olan ince dokuları ve kenarları korurlar. Kör nokta ağları ve maskeleme tabanlı öğrenme gibi yaklaşımlar, gürültüyü azaltırken yapısal bilgiyi korumaya yardımcı olur.
• Daha az ön işleme: Gürültülü girdileri yalnızca mevcut verileri kullanarak temiz temsillerle eşlemeyi öğrenen model, manuel filtrelemeye, el yapımı temizleme algoritmalarına veya küratörlü eğitim veri kümelerine olan ihtiyacı en aza indirir.

Faydalarına rağmen, öz denetimli temizlemenin bazı sınırlamaları da vardır. Dikkate almanız gereken birkaç faktör şunlardır:

• Hesaplama gereksinimleri: Öz denetimli gürültü giderme için kullanılan derin sinir mimarileri, özellikle transformer tabanlı modeller, geleneksel filtreleme tekniklerine kıyasla önemli ölçüde computational power ve bellek kaynakları gerektirebilir.
• Model tasarımı karmaşıklığı: Optimum sonuçlara ulaşmak, farklı gürültü türlerine göre değişebilen maskeleme stratejisi ve kayıp fonksiyonu gibi model ayarlarının dikkatli bir şekilde seçilmesini gerektirir.
• Değerlendirme zorlukları: Yaygın görüntü kalitesi metrikleri, temizlenmiş bir görüntünün ne kadar doğal veya gerçekçi göründüğüyle her zaman örtüşmez, bu nedenle görsel veya göreve özgü kontroller genellikle gereklidir.

Öne çıkanlar#

Öz denetimli temizleme, AI modellerinin doğrudan gürültülü görüntülerden öğrenmesine yardımcı olarak ince detayları korurken daha net sonuçlar üretir. Düşük ışık, yüksek ISO ve detaylı görüntüler gibi çeşitli zorlu senaryolarda etkili bir şekilde çalışır. AI gelişmeye devam ettikçe, bu tür teknikler muhtemelen çeşitli bilgisayarlı görü uygulamalarında temel bir rol oynayacaktır.

Yapay zeka hakkında daha fazla bilgi keşfetmek için our community topluluğumuza katıl ve GitHub repository deponu keşfet. Kendi Vision AI projeni oluşturmak istiyorsan licensing options lisanslama seçeneklerimize göz at. Çözüm sayfalarımızı ziyaret ederek AI in healthcare ve Vision AI in retail gibi uygulamalar hakkında daha fazla bilgi edin.