Görüntüleri gürültüden arındırmak için öz denetimli öğrenmeyi kullanma

Görüntüler, çektiğimiz fotoğraflardan kameraların halka açık yerlerde kaydettiği videolara kadar günlük yaşamımızın bir parçasıdır. İçgörü sağlayan bilgiler içerirler ve en son teknoloji, bu verileri analiz etmeyi ve yorumlamayı mümkün kılar.

Özellikle, bir yapay zeka (YZ) dalı olan bilgisayarlı görü, makinelerin görsel bilgileri işlemesini ve tıpkı insanların yaptığı gibi gördüklerini anlamlandırmasını sağlar. Ancak gerçek dünya uygulamalarında görüntüler genellikle mükemmel olmaktan uzaktır.

Yağmur, toz, düşük ışık veya sensör sınırlamalarından kaynaklanan görüntü gürültüsü, önemli detayları gizleyerek Vision AI modellerinin nesneleri tespit etmesini veya sahneleri doğru bir şekilde yorumlamasını zorlaştırabilir. Görüntü temizleme (denoising), bu gürültüyü azaltarak Vision AI modellerinin detayları daha net görmesine ve daha iyi tahminler yapmasına yardımcı olur.

Şekil 1. Bir görüntüyü temizleme örneği. (Kaynak)

Geleneksel olarak görüntü temizleme, gürültüyü nasıl gidereceklerini öğrenmek için gürültülü ve temiz görüntü çiftleri kullanılarak modellerin eğitildiği denetimli öğrenmeye dayanıyordu. Ancak mükemmel derecede temiz referans görüntüleri toplamak her zaman pratik değildir.

Bu zorluğun üstesinden gelmek için araştırmacılar öz denetimli görüntü temizleyiciler geliştirdiler. Bu yöntem, temiz referans görüntülerine ihtiyaç duymadan gürültüyü gidermek ve önemli detayları korumak için AI modellerini doğrudan verilerden öğrenmeye ve kendi öğrenme sinyallerini oluşturmaya teşvik etmeyi amaçlar.

Bu makalede öz denetimli görüntü temizleyicilere, nasıl çalıştıklarına, arkasındaki temel tekniklere ve gerçek dünya uygulamalarına daha yakından bakacağız. Hadi başlayalım!

Link to this sectionÖz denetimli görüntü temizleme nedir?#

Gürültülü görüntüler, Vision AI modellerinin bir resimde ne olduğunu yorumlamasını zorlaştırabilir. Örneğin, düşük ışık koşullarında çekilen bir fotoğraf pürüzlü veya bulanık görünebilir ve bu durum, bir modelin nesneleri doğru bir şekilde tanımlamasına yardımcı olan ince özellikleri gizleyebilir.

Denetimli öğrenme tabanlı görüntü temizlemede modeller, istenmeyen gürültünün nasıl giderileceğini öğrenmek için biri gürültülü diğeri temiz olan görüntü çiftleri kullanılarak eğitilir. Bu yaklaşım iyi çalışsa da, gerçek dünya senaryolarında mükemmel derecede temiz referans verileri toplamak genellikle zaman alıcı ve zordur.

Araştırmacıların öz denetimli görüntü temizlemeye yönelmesinin nedeni budur. Öz denetimli görüntü temizleme, modellerin verilerden kendi öğrenme sinyallerini oluşturarak kendilerini eğittiği öz denetimli öğrenme kavramına dayanır.

Bu yöntem büyük etiketli veri kümelerine bağlı olmadığından, öz denetimli temizleme daha hızlıdır, daha ölçeklenebilirdir ve temiz referans görüntülerinin genellikle bulunmadığı düşük ışıklı fotoğrafçılık, tıbbi görüntüleme ve uydu görüntüsü analizi gibi alanlarda uygulaması daha kolaydır.

Bu yaklaşım, temiz referans görüntüleri yerine, maskelenmiş pikselleri tahmin ederek veya eksik kısımları yeniden oluşturarak doğrudan gürültülü veriler üzerinde eğitim yapar. Bu süreç sayesinde model, anlamlı görüntü detayları ile rastgele gürültü arasındaki farkı ayırt etmeyi öğrenir ve daha net, daha doğru çıktılar elde edilir.

Denetimsiz öğrenmeye benzer görünse de öz denetimli öğrenme aslında onun özel bir durumudur. Temel fark, öz denetimli öğrenmede modelin belirli bir görevi öğrenmek için verilerden kendi etiketlerini veya eğitim sinyallerini oluşturmasıdır. Buna karşılık, denetimsiz öğrenme, açık bir görev veya önceden tanımlanmış bir hedef olmaksızın verilerdeki gizli desenleri veya yapıları bulmaya odaklanır.

Link to this sectionÖz denetimli temizlemede öğrenme stratejileri#

Öz denetimli temizleme söz konusu olduğunda, öğrenmenin gerçekleştiği birkaç yol vardır. Bazı öz denetimli temizleme modelleri maskelenmiş veya eksik pikselleri doldururken, diğerleri tutarlı detayları bulmak için aynı görüntünün birden fazla gürültülü versiyonunu karşılaştırır.

Örneğin, kör nokta öğrenme (blind-spot learning) olarak bilinen popüler bir yöntem, temizleyici modeli yeniden oluşturduğu pikseli görmezden gelmeye ve bunun yerine çevreleyen bağlama güvenmeye eğitir. Zamanla model, temel dokuları, kenarları ve renkleri korurken yüksek kaliteli görüntüleri yeniden oluşturur.

Link to this sectionÖz denetimli öğrenme gürültüyü gidermek için nasıl çalışır?#

Ardından, öz denetimli öğrenmenin gürültüyü nasıl giderdiğinin arkasındaki süreci inceleyeceğiz.

Öz denetimli temizleme süreci genellikle gürültülü görüntülerin temizleme modeline beslenmesiyle başlar. Model, her bir belirsiz veya maskelenmiş pikselin nasıl görünmesi gerektiğini tahmin etmek için yakındaki pikselleri analiz eder ve yavaş yavaş gürültü ile gerçek görsel detaylar arasındaki farkı ayırt etmeyi öğrenir.

Karanlık, pürüzlü bir gökyüzü görüntüsü düşünün. Model, her bir gürültülü yamanın gürültü olmadan nasıl görünmesi gerektiğini tahmin etmek için yakındaki yıldızlara ve çevreleyen desenlere bakar. Bu süreci tüm görüntü boyunca tekrarlayarak, rastgele gürültüyü anlamlı özelliklerden ayırmayı öğrenir ve daha net, daha doğru bir sonuç üretir.

Başka bir deyişle model, mükemmel derecede temiz bir referansa ihtiyaç duymadan, bağlama dayalı olarak görüntünün daha temiz bir versiyonunu tahmin eder. Bu süreç, her biri gürültüyü yönetmede benzersiz güçlü yönlere sahip farklı model türleri kullanılarak uygulanabilir.

Link to this sectionÖz denetimli görüntü gürültüsü azaltma için kullanılan model türleri#

İşte öz denetimli görüntü temizleme için yaygın olarak kullanılan model türlerine hızlı bir bakış:

• Evrişimli Sinir Ağları (CNN'ler): CNN'ler, bir görüntünün küçük bölgelerindeki desenleri tanımak için tasarlanmış derin öğrenme modelleridir. Kenarları, şekilleri ve dokuları tespit etmek için filtreler kullanarak görüntüleri tararlar. Öz denetimli temizlemede, hedef pikselin girdiden hariç tutulduğu ve böylece modelin değerini yalnızca çevreleyen piksellere göre tahmin ettiği kör nokta tekniklerini sıklıkla kullanırlar. Bu, modelin gürültüyü kopyalamaktan kaçınmasına ve bunun yerine daha temiz detayları çıkarmasına yardımcı olur.
• Otokodlayıcılar: Otokodlayıcılar, verileri sıkıştırmayı ve yeniden oluşturmayı öğrenen sinir ağlarıdır. Önce bir görüntüyü daha küçük bir temsile indirgerler (kodlama) ve ardından yeniden oluştururlar (kod çözme). Bu süreçte, rastgele gürültüleri ve alakasız detayları filtrelerken şekiller ve dokular gibi önemli görsel özellikleri yakalamayı öğrenirler.
• Transformer tabanlı modeller: Transformer'lar başlangıçta doğal dil işleme için geliştirilmiş ancak günümüzde görsel görevler için yaygın olarak kullanılan modellerdir. Tüm görüntüyü bir kerede işleyerek farklı bölgelerin birbirleriyle nasıl ilişkili olduğunu öğrenirler. Bu küresel perspektif, karmaşık veya yüksek çözünürlüklü görüntülerde bile ince detayları ve yapısal tutarlılığı korumalarını sağlar.

Şekil 2. Öz denetimli görüntü temizleme için kullanılan CNN tabanlı bir mimariye bakış. (Kaynak)

Bu modelleri farklı ışıklandırma ve ISO ayarlarında çekilmiş görüntülerle eğitmek, birçok gerçek dünya durumunda iyi çalışmalarına yardımcı olur. Dijital kameralarda ISO ayarları, kameranın aldığı sinyali güçlendirerek görüntüyü ne kadar parlak hale getireceğini kontrol eder.

Daha yüksek bir ISO, karanlık yerlerde fotoğrafları daha parlak hale getirir ancak aynı zamanda gürültüyü artırır ve detayları azaltır. Farklı ISO seviyelerinde çekilen görüntülerden öğrenerek, modeller gerçek detayları gürültüden ayırmada daha iyi hale gelir ve daha net, daha doğru sonuçlar ortaya çıkar.

Link to this sectionBir temizleyici, neyin gürültü neyin gerçek olduğunu nasıl öğrenir?#

Temizleyiciler, gürültüyü gerçek görüntü detaylarından ayırt etmeyi, temizleme için kullanılan model türlerinden ayrı olan farklı eğitim teknikleriyle öğrenirler. CNN'ler, otokodlayıcılar ve transformer'lar gibi model türleri, ağın yapısını ve görsel bilgileri nasıl işlediğini tanımlar.

Eğitim teknikleri ise modelin nasıl öğrendiğini tanımlar. Bazı yöntemler, modelin eksik veya maskelenmiş pikselleri yakındaki alanlardan gelen bilgileri kullanarak doldurduğu bağlam tabanlı tahmini kullanır.

Diğerleri, modelin bir görüntüyü daha basit bir forma sıkıştırıp ardından yeniden oluşturduğu, rastgele gürültüleri filtrelerken kenarlar ve dokular gibi anlamlı yapıları tanımasına yardımcı olan yeniden oluşturma tabanlı öğrenmeyi kullanır.

Model türü ve eğitim tekniği birlikte, bir temizleyicinin görüntüleri ne kadar etkili bir şekilde temizleyebileceğini belirler. Doğru mimariyi doğru öğrenme yaklaşımıyla birleştirerek, öz denetimli temizleyiciler birçok gürültü türüne uyum sağlayabilir ve temiz referans verileri olmadan bile daha net, daha doğru görüntüler üretebilir.

Link to this sectionÖz denetimli AI görüntü temizlemedeki temel teknikler#

İşte etkili öz denetimli görüntü temizlemeyi mümkün kılan en yaygın kullanılan eğitim tekniklerinden bazıları:

• Noise2Noise: Bu yöntem, aynı görüntünün iki gürültülü versiyonunu kullanarak bir modeli eğitir. Her versiyondaki gürültü rastgele olduğundan, model gerçek görüntüyü temsil eden tutarlı detaylara odaklanmayı ve gürültüyü görmezden gelmeyi öğrenir. Seri çekim fotoğrafçılığı veya tıbbi ve bilimsel görüntüleme gibi aynı sahnenin birden fazla gürültülü çekiminin mevcut olduğu durumlarda en iyi sonucu verir.
• Noise2Void veya Noise2Self: Bu teknikler, bir pikseli gizleyerek (maskeleyerek) ve modelden çevreleyen piksellere dayanarak değerini tahmin etmesini isteyerek tek bir gürültülü görüntü üzerinde eğitim yapar. Bu, modelin gürültülü verileri basitçe kopyalamasını engeller ve görüntülerin doğal yapısını öğrenmesine yardımcı olur. Özellikle mikroskopi, astronomi veya düşük ışıklı fotoğrafçılık gibi sadece tek bir gürültülü görüntünün mevcut olduğu durumlarda yararlıdır.
• Kör nokta ağları: Bunlar, modelin yeniden oluşturduğu pikseli göremeyeceği şekilde özel olarak tasarlanmıştır. Bunun yerine, o pikselin nasıl görünmesi gerektiğini tahmin etmek için çevredeki alandan gelen bilgilere güvenirler. Bu, gürültü gidermeyi daha doğru ve tarafsız hale getirir; genellikle piksel tabanlı temizleme görevlerinde Noise2Void veya Noise2Self yöntemleriyle birleştirilirler.
• Maskeli Otokodlayıcılar (MAE): Bu yaklaşımda bir görüntünün bazı kısımları gizlenir ve model eksik alanları yeniden oluşturmayı öğrenir. Bunu yaparak hem ince detayları hem de genel yapıyı öğrenir ve gerçek içeriği gürültüden ayırt etmesine yardımcı olur. Maskeli otokodlayıcılar, daha geniş bağlamı anlamanın restorasyonu iyileştirdiği yüksek çözünürlüklü veya karmaşık görüntüler için özellikle etkilidir.

Link to this sectionGörüntü temizleme sistemlerini değerlendirme#

Görüntü temizleme, gürültüyü azaltmak ve ince detayları korumak gibi iki hedef arasında hassas bir dengedir. Çok fazla temizleme görüntünün yumuşak veya bulanık görünmesine neden olabilirken, çok az temizleme istenmeyen tanecikler veya yapaylıklar bırakabilir.

Bir modelin bu dengeyi ne kadar iyi kurduğunu anlamak için araştırmacılar, hem görüntü netliğini hem de detay korumasını ölçen değerlendirme metrikleri kullanırlar. Bu metrikler, bir modelin önemli görsel bilgileri kaybetmeden bir görüntüyü ne kadar iyi temizlediğini gösterir.

İşte görüntü kalitesini ve temizleme performansını ölçmeye yardımcı olan yaygın değerlendirme metrikleri:

• Ortalama Kare Hata (MSE): Orijinal ve temizlenmiş görüntüler arasındaki ortalama karesel farkı ölçer. Çıktının orijinaline piksel düzeyinde ne kadar yakın olduğunu vurgular. Daha düşük MSE değerleri, daha az hata ve daha doğru bir sonuç anlamına gelir.
• Tepe Sinyal-Gürültü Oranı (PSNR): Bu metrik, orijinal görüntü sinyalinin gücünü desibel cinsinden ifade edilen kalan gürültüyle karşılaştırır. Temizlemeden sonra orijinal detayın ne kadarının korunduğunu görmek için kullanılır. Daha yüksek PSNR değerleri, daha net ve yüksek kaliteli görüntüler anlamına gelir.
• Yapısal Benzerlik İndeksi (SSIM): SSIM, temizlenmiş görüntü ile orijinal arasındaki benzerliği değerlendirmek için yapıyı, parlaklığı ve kontrastı değerlendirir. Sadece ham sayılara değil, insanların görüntüleri nasıl gördüğüne odaklanır. Daha yüksek SSIM puanları, görüntünün daha doğal ve orijinaline sadık göründüğü anlamına gelir.
• Algısal metrikler: Bu metrikler, bir görüntünün ne kadar gerçekçi ve doğal göründüğünü yargılamak için derin öğrenme modellerini kullanır. Bireysel pikselleri karşılaştırmak yerine genel görünüme, dokuya ve görsel benzerliğe odaklanırlar. Çoğu durumda daha düşük puanlar, görüntünün orijinaline daha yakın ve insanlar için görsel olarak daha hoş göründüğü anlamına gelir.

Link to this sectionÖz denetimli temizlemenin uygulamaları#

Artık temizlemenin ne olduğunu daha iyi anladığımıza göre, öz denetimli görüntü temizlemenin gerçek dünya senaryolarında nasıl uygulandığını keşfedelim.

Link to this sectionAstrofotoğrafçılıkta öz denetimli temizleme kullanma#

Yıldızların ve galaksilerin net fotoğraflarını çekmek kolay değildir. Gece gökyüzü karanlıktır, bu nedenle kameralar genellikle uzun pozlama sürelerine ihtiyaç duyar, bu da istenmeyen gürültüye neden olabilir. Bu gürültü, ince kozmik detayları bulanıklaştırabilir ve sönük sinyallerin tespit edilmesini zorlaştırabilir.

Geleneksel temizleme araçları gürültüyü azaltmaya yardımcı olabilir ancak genellikle onunla birlikte önemli detayları da silerler. Öz denetimli temizleme, daha akıllı bir alternatif sunar. Doğrudan gürültülü görüntülerden öğrenerek, AI modeli gerçek özellikleri temsil eden desenleri tanıyabilir ve onları rastgele gürültüden ayırabilir.

Sonuç, yıldızlar, galaksiler ve Güneş gibi gök cisimlerinin çok daha net görüntüleri olup, aksi takdirde fark edilmeyebilecek sönük detayları ortaya çıkarır. Ayrıca, görüntü netliğini artırarak ve verileri bilimsel araştırma için daha kullanışlı hale getirerek ince astronomik özellikleri iyileştirebilir.

Şekil 3. Görüntü temizleme, astrofotoğrafçılık görüntülerini iyileştirebilir. (Kaynak)

Link to this sectionTıbbi görüntüleme için öz denetimli temizleme#

MRI, BT ve mikroskopi görüntüleri gibi tıbbi taramalar, küçük detayların görülmesini zorlaştırabilen gürültüleri genellikle bünyesinde barındırır. Doktorların hastalık belirtilerini erken fark etmeleri veya zaman içindeki değişimleri takip etmeleri gerektiğinde bu bir sorun olabilir.

Görüntü gürültüsü; hasta hareketinden, düşük sinyal gücünden veya kullanılabilecek radyasyon miktarındaki sınırlamalardan kaynaklanabilir. Tıbbi taramaları daha net hale getirmek için araştırmacılar, Noise2Self ve benzeri diğer öz denetimli temizleme yöntemlerini keşfettiler.

Bu modeller doğrudan gürültülü beyin MRI görüntüleri üzerinde eğitilir, gürültü desenlerini kendi başlarına öğrenir ve mükemmel derecede net örneklere ihtiyaç duymadan bunları temizlerler. İşlenmiş görüntüler daha keskin dokular ve daha iyi kontrast sergileyerek ince yapıların tanımlanmasını kolaylaştırır. Bu tür AI destekli temizleyiciler, tanısal görüntülemedeki iş akışını düzene sokar ve gerçek zamanlı analiz verimliliğini artırır.

Şekil 4. Beyin MRI taramalarında farklı öz denetimli temizleme tekniklerinin kullanılması. (Kaynak)

Link to this sectionGörü sistemlerini öz denetimli temizleme ile geliştirme#

Çoğu durumda temizleme, çok çeşitli bilgisayarlı görü uygulamalarında önemli bir etkiye sahiptir. İstenmeyen gürültüleri ve bozulmaları gidererek, Vision AI modellerinin işlemesi için daha temiz ve daha tutarlı giriş verileri üretir.

Daha net görüntüler; nesne tespiti, örnek segmentasyonu ve görüntü tanıma gibi bilgisayarlı görü görevlerinde iyileştirilmiş performansa yol açar. Ultralytics YOLO11 ve Ultralytics YOLO26 gibi Vision AI modellerinin temizlemeden faydalanabileceği uygulama örneklerinden bazıları şunlardır:

• Endüstriyel denetim: Temizleme, üretim ortamlarındaki yüzey kusurlarının veya anormalliklerin daha doğru tespit edilmesini sağlayarak kalite kontrolünü iyileştirir.
• Otonom sürüş ve navigasyon: Düşük ışık, yağmur veya sis gibi zorlu koşullarda nesne ve engel tespitini geliştirerek genel güvenliği ve güvenilirliği artırır.
• Gözetim ve güvenlik: Temizleme, düşük ışıklı veya yüksek sıkıştırmalı video akışlarındaki görüntü kalitesini artırarak nesnelerin veya kişilerin daha iyi tanımlanmasını ve takip edilmesini sağlar.
• Sualtı görüntüleme: Temizleme, saçılmayı ve ışık bozulmasını azaltarak bulanık sualtı koşullarında görünürlüğü ve nesne tanımayı artırır.

Link to this sectionÖz denetimli temizlemenin artıları ve eksileri#

Görüntüleme sistemlerinde öz denetimli temizleme kullanmanın bazı önemli faydaları şunlardır:

• Gürültü uyarlanabilirliği: Öz denetimli temizleme yöntemleri, eşleştirilmiş temiz referanslara ihtiyaç duymadan doğrudan gürültülü verilerden öğrenebilir. Bu, onları sensör gürültüsü, hareket bulanıklığı veya çevresel parazit gibi çok çeşitli gerçek dünya gürültü seviyelerine ve türlerine karşı oldukça uyumlu hale getirir.
• Detay koruma: İyi tasarlandıklarında bu modeller, doğru görüntü yorumlama için gerekli olan ince dokuları ve kenarları korurlar. Kör nokta ağları ve maskeleme tabanlı öğrenme gibi yaklaşımlar, gürültüyü azaltırken yapısal bilgiyi korumaya yardımcı olur.
• Daha az ön işleme: Gürültülü girdileri yalnızca mevcut verileri kullanarak temiz temsillerle eşlemeyi öğrenen model, manuel filtrelemeye, el yapımı temizleme algoritmalarına veya küratörlü eğitim veri kümelerine olan ihtiyacı en aza indirir.

Faydalarına rağmen, öz denetimli temizlemenin bazı sınırlamaları da vardır. Dikkate almanız gereken birkaç faktör şunlardır:

• Hesaplama gereksinimleri: Özellikle transformer tabanlı modeller olmak üzere, öz denetimli temizleme için kullanılan derin sinir mimarileri, geleneksel filtreleme tekniklerine kıyasla önemli miktarda hesaplama gücü ve bellek kaynağı gerektirebilir.
• Model tasarımı karmaşıklığı: Optimum sonuçlara ulaşmak, farklı gürültü türlerine göre değişebilen maskeleme stratejisi ve kayıp fonksiyonu gibi model ayarlarının dikkatli bir şekilde seçilmesini gerektirir.
• Değerlendirme zorlukları: Yaygın görüntü kalitesi metrikleri, temizlenmiş bir görüntünün ne kadar doğal veya gerçekçi göründüğüyle her zaman örtüşmez, bu nedenle görsel veya göreve özgü kontroller genellikle gereklidir.

Link to this sectionÖne çıkanlar#

Öz denetimli temizleme, AI modellerinin doğrudan gürültülü görüntülerden öğrenmesine yardımcı olarak ince detayları korurken daha net sonuçlar üretir. Düşük ışık, yüksek ISO ve detaylı görüntüler gibi çeşitli zorlu senaryolarda etkili bir şekilde çalışır. AI gelişmeye devam ettikçe, bu tür teknikler muhtemelen çeşitli bilgisayarlı görü uygulamalarında temel bir rol oynayacaktır.

AI hakkında daha fazla bilgi edinmek için topluluğumuza katılın ve GitHub depomuza göz atın. Kendi Vision AI projenizi oluşturmak istiyorsanız lisanslama seçeneklerimize bakın. Sağlık hizmetlerinde AI ve perakendede Vision AI gibi uygulamalar hakkında daha fazla bilgi edinmek için çözüm sayfalarımızı ziyaret edin.