U-Net mimarisi ve uygulamaları hakkında rehber

Bilgisayarlı görü, görsel verileri analiz etmeye odaklanan bir yapay zekâ (AI) dalıdır. Fabrikalarda ürün denetleme sürecini otomatikleştirmek ve otonom araçların yollarda yön bulmasına yardımcı olmak gibi birçok son teknoloji sistemin önünü açmıştır.

En bilinen bilgisayarlı görü görevlerinden biri nesne algılamadır. Bu görev, modellerin sınırlayıcı kutuları kullanarak bir görüntüdeki nesnelerin konumunu belirlemesini ve bunları tanımlamasını sağlar. Sınırlayıcı kutular çeşitli uygulamalarda yararlı olsa da bir nesnenin konumu hakkında yalnızca kabaca bir tahmin sunar.

Ancak hassasiyetin kritik olduğu sağlık hizmetleri gibi alanlarda görsel yapay zekâ kullanım senaryoları yalnızca bir nesneyi tanımlamaktan fazlasına dayanır. Çoğu zaman nesnelerin kesin şekli ve konumuyla ilgili bilgilere de ihtiyaç duyar.

Bilgisayarlı görü görevi olan segmentasyon tam olarak bunu yapmak üzere tasarlanmıştır. Segmentasyon modelleri, sınırlayıcı kutular kullanmak yerine nesneleri piksel düzeyinde algılar. Yıllar içinde araştırmacılar segmentasyon için özel bilgisayarlı görü modelleri geliştirmiştir.

Bu modellerden biri U-Net'tir. Daha yeni ve gelişmiş modeller performansını geride bırakmış olsa da U-Net, bilgisayarlı görü tarihinde önemli bir yere sahiptir. Bu makalede U-Net mimarisini, nasıl çalıştığını, nerelerde kullanıldığını ve günümüzde mevcut olan daha modern segmentasyon modelleriyle nasıl karşılaştırıldığını daha yakından inceleyeceğiz.

Şekil 1. U-Net derin öğrenme modeli kullanılarak segmentasyona bir örnek. (Kaynak)

Görüntü segmentasyonunun tarihçesi#

U-Net'in ne olduğunu incelemeden önce, görüntü segmentasyonu modellerinin nasıl geliştiğine dair daha iyi bir fikir edinelim.

Başlangıçta bilgisayarlı görü, bir görüntüdeki nesneleri ayırmak için kenar algılama, eşikleme veya bölge büyütme gibi geleneksel tekniklere dayanıyordu. Bu teknikler, kenarları kullanarak nesne sınırlarını algılamak, piksellerin yoğunluğuna göre bölgeleri ayırmak ve benzer pikselleri gruplamak için kullanılıyordu. Basit durumlarda işe yarıyorlardı; ancak görüntülerde gürültü, üst üste binen şekiller veya belirsiz sınırlar olduğunda çoğu zaman başarısız oluyorlardı.

2012 yılında derin öğrenmenin yükselişinin ardından araştırmacılar, semantik segmentasyon gibi görevler için 2014 yılında tamamen evrişimli ağlar (FCNs) kavramını ortaya koydu. Bu modeller, bilgisayarın görüntüyü daha küçük parçalara bölmek yerine tamamını tek seferde inceleyebilmesi için bir evrişimli ağın belirli bölümlerini değiştirdi. Böylece model, bir görüntüde neler olduğunu daha net gösteren ayrıntılı haritalar oluşturabilir hâle geldi.

Şekil 2. Derin öğrenme tabanlı segmentasyon algoritmalarının gelişimi. (Kaynak)

FCN'lerin üzerine inşa edilen U-Net, 2015 yılında Freiburg Üniversitesi'ndeki araştırmacılar tarafından tanıtıldı. Başlangıçta biyomedikal görüntü segmentasyonu için tasarlanmıştı. Özellikle U-Net, açıklanmış verilerin sınırlı olduğu durumlarda iyi performans gösterecek şekilde tasarlandı.

Bu sırada UNet++ ve TransUNet gibi sonraki sürümler, dikkat katmanları ve daha iyi özellik çıkarma gibi geliştirmeler ekledi. Dikkat katmanları modelin temel bölgelere odaklanmasına yardımcı olurken gelişmiş özellik çıkarma, daha ayrıntılı bilgileri yakalar.

U-Net nedir ve özellikler model içinde nasıl ilerler?#

U-Net, görüntü segmentasyonu için özel olarak oluşturulmuş bir derin öğrenme modelidir. Girdi olarak bir görüntü alır ve her pikseli ait olduğu nesneye veya bölgeye göre sınıflandıran bir segmentasyon maskesi üretir.

Model adını U şeklindeki mimarisinden alır. İki ana bölümden oluşur: görüntüyü sıkıştırarak özelliklerini öğrenen bir kodlayıcı ve görüntüyü yeniden orijinal boyutuna genişleten bir kod çözücü. Bu tasarım, modelin bir görüntünün hem genel yapısını hem de daha ince ayrıntılarını anlamasına yardımcı olan simetrik bir U şekli oluşturur.

U-Net'in önemli özelliklerinden biri, kodlayıcıdaki bilgilerin doğrudan kod çözücüye aktarılmasını sağlayan atlama bağlantılarının kullanılmasıdır. Bu sayede model, görüntü sıkıştırılırken kaybolabilecek önemli ayrıntıları koruyabilir.

U-Net mimarisine genel bakış#

U-Net mimarisinin nasıl çalıştığına kısaca göz atalım:

• Girdi görüntüsü: U-Net, tıbbi tarama veya bir uydu fotoğrafı gibi 2B bir görüntüyle başlar. Amaç, görüntüdeki her piksele bir sınıf etiketi atamaktır.
• Alt örnekleme: Görüntü, önemli görsel özellikleri öğrenen evrişimli katmanlardan geçer. Görüntü farklı katmanlardan geçerken çözünürlüğü azalır ve model daha geniş kapsamlı örüntüleri belirler.
• Darboğaz katmanı: Ağın merkezinde özellik haritaları, üst düzey anlamsal özellikleri yakalarken en küçük uzamsal çözünürlüğe ulaşır. Basitçe ifade etmek gerekirse, özellik haritalarının bu sıkıştırılmış temsili girdinin genel bağlamıdır.
• Üst örnekleme: Ardından ağ, çözünürlüğü kademeli olarak artırarak görüntüyü yeniden oluşturur. Transpoze evrişimler, özellik haritalarını orijinal boyuta doğru genişletmeye yardımcı olur.
• Atlama bağlantıları: Alt örnekleme yolundaki özellik haritaları, üst örnekleme yolundakilerle birleştirilir. Bu, üst düzey bağlamsal bilgiler entegre edilirken ince uzamsal ayrıntıların korunmasına yardımcı olur.
• Çıktı bir segmentasyon haritasıdır: Nihai çıktı, girdi boyutuyla eşleşen piksel bazlı bir segmentasyon maskesidir. Her piksel nesne, arka plan veya ilgi bölgesi gibi bir kategoriye sınıflandırılır.

Şekil 3. U-Net mimarisi şeması. (Kaynak)

ViT ile U-Net arasındaki farkı anlamak#

U-Net'i incelerken, segmentasyon görevlerini de gerçekleştirebilen Görsel Transformer (ViT) gibi diğer derin öğrenme modellerinden ne açıdan farklı olduğunu merak ediyor olabilirsin. Her iki model de benzer görevleri gerçekleştirebilse de yapılandırılma biçimleri ve segmentasyonu ele alış şekilleri farklıdır.

U-Net, kodlayıcı-kod çözücü yapısındaki evrişimli katmanlar aracılığıyla görüntüleri piksel düzeyinde işleyerek çalışır. Tıbbi taramalar veya otonom araç sahneleri gibi hassas segmentasyon gerektiren görevlerde sıklıkla kullanılır.

Buna karşılık Görsel Transformer (ViT), görüntüleri parçalara böler ve dikkat mekanizmaları aracılığıyla bu parçaları eş zamanlı olarak işler. Görüntünün farklı bölümlerinin birbiriyle nasıl ilişkili olduğunu yakalamak için öz-dikkati (modelin görüntünün farklı bölümlerinin birbirlerine göre önemini ağırlıklandırmasını sağlayan bir mekanizma) kullanır; bu yönüyle U-Net'in evrişimli yaklaşımından ayrılır.

Bir diğer önemli fark, ViT'nin genellikle iyi çalışmak için daha fazla veriye ihtiyaç duymasıdır; ancak karmaşık örüntüleri yakalamada başarılıdır. Buna karşılık U-Net daha küçük veri kümelerinde iyi performans gösterir, daha hızlı eğitilir ve çoğu zaman daha az eğitim süresi gerektirir.

U-Net modelinin uygulamaları#

Artık U-Net'in ne olduğunu ve nasıl çalıştığını daha iyi anladığımıza göre, U-Net'in farklı alanlarda nasıl uygulandığını inceleyelim.

Tıbbi görüntülemede beyin kanaması segmentasyonu#

U-Net, özellikle araştırmalarda öne çıktığı dönemde, karmaşık tıbbi görüntülerin piksel düzeyinde segmentasyonu için güvenilir bir yöntem hâline geldi. Araştırmacılar tarafından BT ve MRI görüntülerindeki tümörler ve iç kanama belirtileri gibi önemli bölgeleri tıbbi taramalarda vurgulamak için kullanıldı. Bu yaklaşım, araştırma ortamlarında teşhis doğruluğunu önemli ölçüde artırdı ve karmaşık tıbbi verilerin analizini kolaylaştırdı.

U-Net'in sağlık araştırmalarındaki etkisine bir örnek, tıbbi taramalarda inme ve beyin kanamasını belirlemek için kullanılmasıdır. Araştırmacılar, kafa taramalarını analiz etmek ve endişe verici bölgeleri vurgulamak için U-Net'i kullanarak acil müdahale gerektiren vakaların daha hızlı belirlenmesini sağlayabildi.

Şekil 4. 3D U-Net kullanılarak hemorajik inme lezyonlarının segmentasyonu. (Kaynak)

Tarımda ürün segmentasyonu#

Araştırmacıların U-Net'i kullandığı bir diğer alan, özellikle ürünlerin, yabani otların ve toprağın segmentasyonunu içeren tarımdır. Çiftçilerin bitki sağlığını izlemesine, verimi tahmin etmesine ve büyük çiftliklerde daha iyi kararlar almasına yardımcı olur. Örneğin U-Net, ürünleri yabani otlardan ayırarak herbisit uygulamasını daha verimli hâle getirebilir ve israfı azaltabilir.

Araştırmacılar, drone görüntülerindeki hareket bulanıklığı gibi zorlukların üstesinden gelmek için U-Net'i görüntü bulanıklığı giderme teknikleriyle geliştirdi. Bu, hava araştırmaları sırasında olduğu gibi veriler hareket hâlindeyken toplandığında bile daha net segmentasyon sağlar.

Şekil 5. U-Net ile tarım arazilerinde ürünleri yabani otlardan ayırma. (Kaynak)

Otonom sürüş#

Daha gelişmiş yapay zekâ modelleri kullanılmaya başlanmadan önce U-Net, segmentasyonun otonom sürüşü nasıl geliştirebileceğini araştırmada önemli bir rol oynadı. Otonom araçlarda U-Net'in semantik segmentasyonu, bir görüntüdeki her pikseli yol, araç, yaya ve şerit işaretleri gibi kategorilere sınıflandırmak için kullanılabilir. Bu, araca çevresini net bir şekilde göstererek güvenli navigasyona ve etkili karar vermeye yardımcı olur.

Şekil 6. Sürülebilir alanın U-Net kullanılarak segmentlere ayrıldığı bir yol sahnesi. (Kaynak)

U-Net'in avantajları ve dezavantajları#

U-Net, basitlik, doğruluk ve uyarlanabilirlik arasındaki dengesi sayesinde günümüzde bile araştırmacılar arasında görüntü segmentasyonu için iyi bir seçenek olmaya devam ediyor. Öne çıkmasını sağlayan başlıca avantajlardan bazıları şunlardır:

• Farklı modalitelere uyarlanabilir: U-Net; 3B tıbbi taramalar, uydu görüntüleri ve hatta video kareleri dâhil olmak üzere farklı veri türlerine uyarlanmıştır.
• Optimize edildiğinde hızlı çıkarım: U-Net, uygun şekilde ayarlandığında verimli çalışabilir ve bu da onu gerçek zamanlı veya gerçeğe yakın zamanlı uygulamalar için uygun hâle getirir.
• Açık kaynaklı ve topluluk destekli: U-Net, önde gelen derin öğrenme kitaplıklarında kullanılabilir ve geniş bir geliştirici ve araştırmacı topluluğu tarafından desteklenir.

U-Net'in birçok güçlü yönü olsa da akılda tutulması gereken birkaç sınırlaması da vardır. Dikkate alınması gereken bazı faktörler şunlardır:

• Veri kalitesine duyarlı: U-Net'in performansı, gürültülü veya düşük çözünürlüklü görüntüler gibi düşük kaliteli verilerden olumsuz etkilenebilir.
• Küçük veri kümelerinde aşırı öğrenmeye yatkın: U-Net sınırlı verilerle iyi performans gösterse de özellikle veri kümesi çok küçükse veya çeşitlilikten yoksunsa, uygun şekilde düzenlileştirilmediğinde yine de aşırı öğrenme riski taşır.
• Hesaplama kaynakları: U-Net, özellikle büyük veri kümeleriyle çalışırken hesaplama açısından maliyetli olabilir ve eğitim için önemli donanım kaynakları gerektirebilir.

Önemli çıkarımlar#

U-Net, görüntü segmentasyonunun gelişiminde önemli bir kilometre taşı olmuştur. Özellikle tıbbi görüntüleme gibi alanlarda derin öğrenme modellerinin daha küçük veri kümelerini kullanarak doğru sonuçlar sunabileceğini kanıtlamıştır.

Bu atılım, çeşitli alanlarda daha gelişmiş uygulamaların önünü açmıştır. Bilgisayarlı görü gelişmeye devam ederken U-Net gibi segmentasyon modelleri, makinelerin görsel verileri yüksek hassasiyetle anlamasını ve yorumlamasını sağlamada temel bir rol oynamayı sürdürüyor.

Kendi bilgisayarlı görü projelerini geliştirmek mi istiyorsun? Yapay zekâyı daha derinlemesine incelemek için GitHub depomuzu keşfet ve lisans seçeneklerimize göz at. Sağlık hizmetlerinde bilgisayarlı görünün verimliliği nasıl artırdığını öğren ve çözüm sayfalarımızı ziyaret ederek perakendede yapay zekânın etkisini keşfet! Büyüyen topluluğumuza hemen katıl!