U-Net mimarisi ve uygulama alanları hakkında bir kılavuz

Bilgisayarlı görü, görsel verileri analiz etmeye odaklanan bir yapay zekâ (AI) dalıdır. Fabrikalardaki ürün denetim süreçlerini otomatikleştirmekten otonom araçların yollarda ilerlemesine yardımcı olmaya kadar pek çok gelişmiş sistemin önünü açmıştır.

En bilinen bilgisayarlı görü görevlerinden biri nesne tespitidir. Bu görev, modellerin sınırlayıcı kutular kullanarak bir görüntüdeki nesnelerin yerini bulmasını ve onları tanımasını sağlar. Sınırlayıcı kutular çeşitli uygulamalarda yararlı olsa da nesnenin konumuna ilişkin yalnızca yaklaşık bir tahmin sunar.

Ancak hassasiyetin kritik önem taşıdığı sağlık hizmetleri gibi alanlarda, görsel yapay zekâ kullanım senaryoları yalnızca nesneyi tanımlamanın ötesine geçer. Çoğu zaman nesnelerin tam şekli ve konumuyla ilgili bilgiler de gerekir.

Bilgisayarlı görü görevi olan segmentasyon tam da bunu yapmak için tasarlanmıştır. Segmentasyon modelleri, sınırlayıcı kutular kullanmak yerine nesneleri piksel düzeyinde tespit eder. Yıllar içinde araştırmacılar segmentasyon için özel bilgisayarlı görü modelleri geliştirdi.

Bu modellerden biri U-Net'tir. Daha yeni ve gelişmiş modeller performansını geride bırakmış olsa da U-Net, bilgisayarlı görü tarihindeki önemli yerini koruyor. Bu makalede U-Net mimarisine, nasıl çalıştığına, nerelerde kullanıldığına ve günümüzdeki daha modern segmentasyon modelleriyle nasıl karşılaştırıldığına yakından bakacağız.

Şekil 1. U-Net derin öğrenme modeliyle segmentasyona bir örnek. (Kaynak)

Görüntü segmentasyonunun tarihçesi#

U-Net'in ne olduğuna geçmeden önce, görüntü segmentasyonu modellerinin nasıl geliştiğini daha iyi anlamaya çalışalım.

Başlangıçta bilgisayarlı görü; bir görüntüdeki nesneleri ayırmak için kenar tespiti, eşikleme veya bölge büyütme gibi geleneksel tekniklere dayanıyordu. Bu teknikler, kenarları kullanarak nesne sınırlarını tespit etmek, piksel yoğunluğuna göre bölgeleri ayırmak ve benzer pikselleri gruplandırmak için kullanılıyordu. Basit durumlarda işe yarasalar da görüntülerde gürültü, üst üste binen şekiller veya belirsiz sınırlar olduğunda çoğu zaman başarısız oluyorlardı.

2012'de derin öğrenmenin yükselişinin ardından araştırmacılar, anlamsal segmentasyon gibi görevler için 2014'te tam evrişimli ağlar (FCNs) kavramını ortaya koydu. Bu modeller, bilgisayarın görüntüyü küçük parçalara bölmek yerine tamamını bir kerede incelemesini sağlamak için evrişimli ağın belirli bölümlerini değiştirdi. Böylece model, görüntüde neler olduğunu daha açık biçimde gösteren ayrıntılı haritalar oluşturabilir hâle geldi.

Şekil 2. Derin öğrenme tabanlı segmentasyon algoritmalarının gelişimi. (Kaynak)

FCN'lerin üzerine inşa edilen U-Net, 2015'te Freiburg Üniversitesi'ndeki araştırmacılar tarafından tanıtıldı. Başlangıçta biyomedikal görüntü segmentasyonu için tasarlanmıştı. Özellikle, etiketli verilerin kısıtlı olduğu durumlarda iyi performans gösterecek şekilde geliştirildi.

Bu arada UNet++ ve TransUNet gibi sonraki sürümler, dikkat katmanları ve daha iyi özellik çıkarımı gibi iyileştirmeler ekledi. Dikkat katmanları modelin önemli bölgelere odaklanmasına yardımcı olurken, gelişmiş özellik çıkarımı daha ayrıntılı bilgileri yakalar.

U-Net nedir ve özellikler model içinde nasıl akar?#

U-Net, özellikle görüntü segmentasyonu için geliştirilmiş bir derin öğrenme modelidir. Girdi olarak bir görüntü alır ve her pikseli ait olduğu nesneye veya bölgeye göre sınıflandıran bir segmentasyon maskesi üretir.

Model adını U şeklindeki mimarisinden alır. İki ana bölümden oluşur: görüntüyü sıkıştırıp özelliklerini öğrenen bir kodlayıcı ve görüntüyü özgün boyutuna geri genişleten bir kod çözücü. Bu tasarım, modelin hem görüntünün genel yapısını hem de ince ayrıntılarını anlamasına yardımcı olan simetrik bir U şekli oluşturur.

U-Net'in önemli özelliklerinden biri, kodlayıcıdaki bilgilerin doğrudan kod çözücüye aktarılmasını sağlayan atlama bağlantıları kullanmasıdır. Bu sayede model, görüntü sıkıştırılırken kaybolabilecek önemli ayrıntıları koruyabilir.

U-Net mimarisine genel bakış#

U-Net mimarisinin nasıl çalıştığına kısaca göz atalım:

• Girdi görüntüsü: U-Net, tıbbi tarama veya uydu fotoğrafı gibi 2 boyutlu bir görüntüyle başlar. Amaç, görüntüdeki her piksele bir sınıf etiketi atamaktır.
• Alt örnekleme: Görüntü, önemli görsel özellikleri öğrenen evrişim katmanlarından geçer. Görüntü farklı katmanlardan ilerledikçe çözünürlüğü azalır ve model daha genel örüntüleri belirler.
• Darboğaz katmanı: Ağın merkezinde özellik haritaları, üst düzey anlamsal özellikleri yakalarken en düşük uzamsal çözünürlüğe ulaşır. Basitçe söylemek gerekirse, özellik haritalarının bu sıkıştırılmış temsili girdinin genel bağlamını ifade eder.
• Üst örnekleme: Ağ daha sonra çözünürlüğü kademeli olarak artırarak görüntüyü yeniden oluşturur. Transpoze evrişimler, özellik haritalarını özgün boyutlarına doğru genişletmeye yardımcı olur.
• Atlama bağlantıları: Alt örnekleme yolundaki özellik haritaları, üst örnekleme yolundakilerle birleştirilir. Bu, üst düzey bağlamsal bilgiler bütünleştirilirken ince uzamsal ayrıntıların korunmasına yardımcı olur.
• Çıktı bir segmentasyon haritasıdır: Son çıktı, girdiyle aynı boyutta piksel düzeyinde bir segmentasyon maskesidir. Her piksel; nesne, arka plan veya ilgi alanı gibi bir kategoride sınıflandırılır.

Şekil 3. U-Net mimarisi şeması. (Kaynak)

ViT ile U-Net arasındaki farkı anlamak#

U-Net'i incelerken, segmentasyon görevlerini de yerine getirebilen Vision Transformer'ın (ViT) gibi diğer derin öğrenme modellerinden nasıl farklı olduğunu merak ediyor olabilirsin. Her iki model de benzer görevleri yerine getirebilse de tasarım ve segmentasyonu ele alış biçimleri bakımından farklıdır.

U-Net, kodlayıcı-kod çözücü yapısındaki evrişim katmanlarıyla görüntüleri piksel düzeyinde işleyerek çalışır. Genellikle tıbbi taramalar veya otonom araç sahneleri gibi hassas segmentasyon gerektiren görevlerde kullanılır.

Öte yandan Vision Transformer (ViT), görüntüleri parçalara böler ve dikkat mekanizmaları aracılığıyla bu parçaları eş zamanlı olarak işler. U-Net'in evrişim yaklaşımından farklı olarak, görüntünün farklı bölümlerinin birbiriyle nasıl ilişkili olduğunu yakalamak için öz dikkati (modelin görüntünün farklı bölümlerinin önemini birbirlerine göre tartmasını sağlayan bir mekanizma) kullanır.

Bir diğer önemli fark, ViT'nin genellikle iyi çalışmak için daha fazla veriye ihtiyaç duyması, ancak karmaşık örüntüleri yakalamada başarılı olmasıdır. Öte yandan U-Net, daha küçük veri kümelerinde iyi performans gösterir, daha hızlı eğitilir ve çoğu zaman daha kısa eğitim süresi gerektirir.

U-Net modelinin uygulamaları#

U-Net'in ne olduğunu ve nasıl çalıştığını artık daha iyi anladığımıza göre, farklı alanlarda nasıl uygulandığını inceleyelim.

Tıbbi görüntülemede beyin kanamasının segmentasyonu#

U-Net, özellikle araştırmalarda en parlak dönemini yaşadığı sırada karmaşık tıbbi görüntülerin piksel düzeyinde segmentasyonu için güvenilir bir yöntem hâline geldi. Araştırmacılar, tümörler ve BT ile MR görüntülerindeki iç kanama belirtileri gibi önemli bölgeleri vurgulamak için bu yöntemi kullandı. Bu yaklaşım, tanı doğruluğunu önemli ölçüde artırdı ve araştırma ortamlarında karmaşık tıbbi verilerin analizini kolaylaştırdı.

U-Net'in sağlık araştırmalarındaki etkisine örnek olarak tıbbi taramalarda inme ve beyin kanamasını belirlemek için kullanılması gösterilebilir. Araştırmacılar, kafa taramalarını analiz etmek ve endişe verici bölgeleri vurgulamak için U-Net'i kullanarak acil müdahale gerektiren vakaların daha hızlı belirlenmesini sağlayabilirdi.

Şekil 4. 3D U-Net ile hemorajik inme lezyonlarının segmentasyonu. (Kaynak)

Tarımda ürün segmentasyonu#

Araştırmacıların U-Net'i kullandığı bir diğer alan da tarımdır; özellikle ürünleri, yabani otları ve toprağı segmentasyonla ayırmak için kullanılmıştır. Çiftçilerin bitki sağlığını izlemesine, verimi tahmin etmesine ve geniş çiftliklerde daha iyi kararlar almasına yardımcı olur. Örneğin U-Net, ürünleri yabani otlardan ayırarak herbisit uygulamasını daha verimli hâle getirebilir ve israfı azaltabilir.

Araştırmacılar, drone görüntülerindeki hareket bulanıklığı gibi zorlukların üstesinden gelmek için U-Net'i görüntü bulanıklığını giderme teknikleriyle geliştirdi. Bu sayede hava araştırmaları sırasında olduğu gibi veriler hareket hâlindeyken toplandığında bile daha net segmentasyon sağlanır.

Şekil 5. U-Net ile tarım arazilerinde ürünlerin yabani otlardan ayrılması. (Kaynak)

Otonom sürüş#

Daha gelişmiş yapay zekâ modelleri ortaya çıkmadan önce U-Net, segmentasyonun otonom sürüşü nasıl geliştirebileceğini araştırmada önemli bir rol oynadı. Otonom araçlarda, U-Net'in anlamsal segmentasyonu bir görüntüdeki her pikseli yol, araç, yaya ve şerit işaretleri gibi kategorilere ayırmak için kullanılabilir. Bu, araca çevresini net biçimde göstererek güvenli seyrüsefere ve etkili karar almaya yardımcı olur.

Şekil 6. Sürülebilir alanın U-Net kullanılarak segmentasyonla ayrıldığı bir yol sahnesi. (Kaynak)

U-Net'in artıları ve eksileri#

Basitlik, doğruluk ve uyarlanabilirlik arasındaki denge sayesinde U-Net, bugün bile araştırmacılar için görüntü segmentasyonunda iyi bir seçenek olmaya devam ediyor. Öne çıkmasını sağlayan temel avantajlardan bazıları şunlardır:

• Farklı veri türlerine uyarlanabilir: U-Net; 3 boyutlu tıbbi taramalar, uydu görüntüleri ve hatta video kareleri dâhil farklı veri türlerine uyarlanmıştır.
• Optimize edildiğinde hızlı çıkarım: U-Net, uygun şekilde ayarlandığında verimli çalışabilir; bu da onu gerçek zamanlı veya gerçeğe yakın zamanlı uygulamalar için uygun hâle getirir.
• Açık kaynaklı ve topluluk destekli: U-Net, önde gelen derin öğrenme kütüphanelerinde kullanılabilir ve geniş bir geliştirici ve araştırmacı topluluğunun desteğine sahiptir.

U-Net'in birçok güçlü yanı olsa da göz önünde bulundurulması gereken bazı sınırlamaları da vardır. Dikkate alman gereken etkenlerden bazıları şunlardır:

• Veri kalitesine duyarlı: Gürültülü veya düşük çözünürlüklü görüntüler gibi düşük kaliteli veriler, U-Net'in performansını olumsuz etkileyebilir.
• Küçük veri kümelerinde aşırı öğrenmeye yatkın: U-Net sınırlı verilerle iyi performans gösterse de özellikle veri kümesi çok küçük veya çeşitlilikten yoksunsa, uygun düzenlileştirme yapılmadığında aşırı öğrenme riski taşır.
• Hesaplama kaynakları: U-Net, özellikle büyük veri kümeleriyle çalışırken hesaplama açısından maliyetli olabilir ve eğitim için önemli donanım kaynakları gerektirebilir.

Önemli çıkarımlar#

U-Net, görüntü segmentasyonunun gelişiminde önemli bir dönüm noktası oldu. Özellikle tıbbi görüntüleme gibi alanlarda derin öğrenme modellerinin daha küçük veri kümeleriyle doğru sonuçlar verebileceğini kanıtladı.

Bu çığır açan gelişme, çeşitli alanlarda daha ileri uygulamaların önünü açtı. Bilgisayarlı görü gelişmeye devam ederken U-Net gibi segmentasyon modelleri, makinelerin görsel verileri yüksek hassasiyetle anlamasını ve yorumlamasını sağlamada temel önemini koruyor.

Kendi bilgisayarlı görü projelerini geliştirmek mi istiyorsun? Yapay zekâyı daha derinlemesine incelemek için GitHub depomuzu ziyaret et ve lisanslama seçeneklerimize göz at. Sağlık hizmetlerinde bilgisayarlı görünün verimliliği nasıl artırdığını öğren ve çözüm sayfalarımızı ziyaret ederek perakendede yapay zekânın etkisini keşfet! Büyüyen topluluğumuza hemen katıl!