Semantik Bölütleme

Anlamsal segmentasyon, aşağıdaki alanlarda temel bir tekniktir atamayı içeren bilgisayar görüşü (CV) Bir görüntüdeki her bir piksele belirli bir sınıf etiketi. Bir görüntünün tamamını kategorize edebilen daha basit görevlerin aksine veya bir nesnenin etrafına sınırlayıcı bir kutu yerleştirerek, semantik segmentasyon sahnenin piksel açısından mükemmel bir haritasını sağlar. Bu ayrıntı düzeyi, makinelerin nesnelerin kesin sınırlarını ve şekillerini anlamasını ve sınıflandırmasını sağlar "yol", "insan", "gökyüzü" veya "tümör" gibi farklı bölgeler. Tedavi ederek görüntü sadece nesnelerin bir toplamından ziyade sınıflandırılmış piksellerin bir koleksiyonu olarak, bu yöntem kapsamlı bir ileri düzey için gerekli olan görsel bağlamın anlaşılması yapay zeka (AI) sistemleri Karmaşık ortamlarla etkileşim.

Piksel Düzeyinde Sınıflandırmanın Temel Mekaniği

Anlamsal segmentasyon süreci büyük ölçüde aşağıdakilere dayanır derin öğrenme (DL) modelleri, özellikle tabanlı mimariler Konvolüsyonel Sinir Ağları (CNN'ler). Bu modeller büyük ölçekli uzman insan açıklayıcıların bulunduğu açıklamalı veri kümeleri her bir pikseli etiketlemiştir. Eğitim sırasında ağ, dokular ve kenarlar gibi düşük seviyeli özellikleri ilişkilendirmeyi öğrenir üst düzey anlamsal kavramlar ile.

Yaygın bir mimari model, bir kodlayıcı-kod çözücü yapısını içerir:

• Kodlayıcı: Anlamsal bağlamı yakalamak ve uzamsal boyutları azaltmak için giriş görüntüsünü aşağı örneklendirir.
• Kod Çözücü: Kodlanmış özellikleri orijinal görüntü çözünürlüğüne geri yükselterek bir Tahmin haritası.

Tam Evrişimli Ağlar (FCN) gibi öncü mimariler uzamsal haritalar çıkarmak için tam bağlantılı katmanları evrişimli katmanlarla değiştirerek zemin hazırladı. Daha uzmanlaşmış U-Net gibi tasarımlar, atlama bağlantılarını kullanarak ince ayrıntılar, onları yüksek hassasiyet gerektiren görevler için oldukça etkili hale getirir.

Anlamsal Segmentasyonu İlgili Görevlerden Ayırt Etmek

Bir proje için doğru aracı seçmek için semantik segmentasyonu diğer araçlardan ayırmak çok önemlidir. bilgisayarla görme görevleri:

• Nesne Algılama: Tanımlar nesneleri ve bunları dikdörtgen sınırlayıcı kutular. "Nerede?" sorusuna cevap verir. nesne?" şeklinde bir soru sorar ancak nesnenin tam şeklini göz ardı eder.
• Örnek Segmentasyonu: Anlamsal segmentasyona benzer, ancak aynı sınıfın bireysel örnekleri arasında ayrım yapar. Örneğin, Anlamsal segmentasyon tüm "araba" piksellerini aynı renkle etiketlerken, örnek segmentasyonu bir "araba 1", "araba 2" vb. için benzersiz kimlik.
• Görüntü Sınıflandırması: Görüntünün konumunu belirlemeden görüntünün tamamına tek bir etiket atar (örneğin, "plaj sahnesi") belirli unsurlar.

Gerçek Dünya Uygulamaları

Sahneleri piksel düzeyinde ayrıştırma yeteneği, birçok sektörde inovasyonu teşvik etti:

• Otonom Araçlar: Sürücüsüz araçlar, sürülebilir yüzeyleri (yollar), trafik işaretlerini, yayaları ve diğer araçları tanımlamak için semantik segmentasyonu kullanır. engeller. Şehir Manzaraları gibi veri kümeleri eğitmek için yaygın olarak kullanılmaktadır kentsel ortamlarda güvenli bir şekilde gezinmek için modeller.
• Tıbbi Görüntü Analizi: Sağlık hizmetlerinde hassasiyet hayati önem taşır. Taramalardaki organları, lezyonları ve tümörleri segment ayıran modeller MRI veya BT makineler. Bu, radyologlara doku hacmini ölçme ve ameliyatları planlama konusunda yardımcı olur.
• Uydu Görüntü Analizi: Anlamsal segmentasyon arazi örtüsü sınıflandırmasına, ormansızlaşmanın izlenmesine ve şehir planlamasına yardımcı olur. Organizasyonlar NASA gibi küresel ölçekte çevresel değişiklikleri izlemek için bu teknikleri kullanmaktadır. Ölçek.
• Hassas Tarım: Çiftçiler, ekinleri yabani otlardan ayırmak için segmentasyonu kullanır ve bu da hedeflenen herbisit uygulamasını mümkün kılar. kimyasal kullanımı ve maliyetleri.

Anlamsal Segmentasyonun Uygulanması

Gibi modern çerçeveler PyTorch ve TensorFlow segmentasyon modelleri oluşturmak için araçlar sağlar. Bununla birlikte, üst düzey kütüphaneler süreci önemli ölçüde basitleştirir. Bu Ultralytics YOLO11 model desteği segmentasyon görevlerini kutudan çıkarır, bir denge sunar için uygun hız ve doğruluk gerçek zamanlı çıkarım.

Aşağıdaki örnek, önceden eğitilmiş bir YOLO11 segmentasyon modelinin nasıl yükleneceğini ve bir kullanarak görüntü ultralytics python paketi.

from ultralytics import YOLO

# Load a pre-trained YOLO11 segmentation model
model = YOLO("yolo11n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the segmentation mask results
results[0].show()

Özel çözümler oluşturmak isteyen geliştiriciler için, aşağıdaki gibi açıklama araçları LabelMe veya CVAT eğitim verilerini hazırlamak için gereklidir. Eğitildikten sonra, kullanılarak bu modeller uç cihazlara dağıtılabilir. OpenCV veya optimize edilmiş üretim ortamlarında verimli performans için ONNX gibi formatlar.