Interactive Segmentation

Etkileşimli segmentasyon, insan kullanıcının bir görüntüdeki belirli nesneleri izole etmesi için tıklamalar, sınırlayıcı kutular veya metin istemleri gibi sürekli ya da tek seferlik girdiler sağladığı, bilgisayarlı görü alanında insan ve yapay zekâyı yüksek düzeyde iş birliği içinde buluşturan bir yaklaşımdır. Tamamen otomatik yöntemlerin aksine, bu insan döngüde tekniği kullanıcıların tam olarak neyin segmentlere ayrılması gerektiğini tanımlamasına olanak tanır; bu da onu özellikle belirsiz görsel verilerle, üst üste binen nesnelerle veya daha önce görülmemiş sınıflarla çalışırken değerli kılar. Son birkaç yılda temel modellerin kullanıma sunulması, bu sürecin hızını ve doğruluğunu büyük ölçüde artırarak onu veri açıklama ve hassas görüntüleme için hayati bir araca dönüştürdü.

Etkileşimli Segmentasyon Nasıl Çalışır?#

İş akışının temelinde, modelin kullanıcı yönlendirmesini yorumlayarak piksel düzeyinde kusursuz bir maske oluşturduğu istemlenebilir kavram segmentasyonu yer alır. Kullanıcı, seçmek istediği ön plan nesnesine bir "pozitif" tıklama, dışarıda bırakmak istediği arka plan alanlarına ise bir "negatif" tıklama yapabilir. Segment Anything Model (SAM) ve halefleri olan Meta SAM 3 gibi gelişmiş modeller, çeşitli hareket türlerini [1], sınırlayıcı kutuları ve hatta görsel aramayı belirli bir hedefe oturtmak için metin açıklamalarını kabul ederek bu süreci daha da ileri taşır. Model, bu istemlere göre en uygun sınırı hesaplar ve kullanıcı, istenen doğruluk elde edilene kadar ek tıklamalarla maskeyi yinelemeli olarak iyileştirebilir.

Gerçek Dünya Uygulamaları#

Etkileşimli segmentasyon, insan uzmanlığını yapay zekânın verimliliğiyle birleştirerek çok sayıda sektördeki iş akışlarını dönüştürüyor.

• Tıbbi Görüntüleme: Sağlık hizmetlerinde yapay zekâ alanında doktorlar ve radyologlar, MRI ve CT taramalarında tümörleri, lezyonları veya belirli organları izole etmek için etkileşimli araçlar kullanır. Tıbbi görüntüler için uzamsal modelleme [2] üzerine yapılan araştırmalar, etkileşimli tıklamaların tıp uzmanlarının yapay zekâ tahminlerini hızla düzeltmesine olanak tanıdığını ve hasta tanısı için gereken titiz doğruluğu güvence altına aldığını gösteriyor.
• Jeo-uzamsal ve Uydu Haritalama: Şehir planlamacıları ve çevre bilimciler, CBS öznitelik çıkarımını [3] hızlandırmak için etkileşimli modeller kullanır. Analistler, karmaşık kıyı çizgilerini, tarım sınırlarını veya yeni altyapıyı elle izlemek yerine birkaç stratejik tıklamayla doğru coğrafi poligonları anında oluşturabilir.
• Endüstriyel Kusur Tespiti: Üretimde yapay zekâ için kalite kontrol mühendisleri, üretim hatlarındaki mikroskobik kusurları vurgulamak üzere etkileşimli istemler kullanabilir ve tüm modeli yeniden eğitmeden sistemi yeni kusur türlerine dinamik olarak uyarlayabilir.

Etkileşimli Segmentasyon ve Örnek Segmentasyonu#

Her iki kavram da nesneleri piksel düzeyinde birbirinden ayırmayı içerse de farklı operasyonel amaçlara hizmet eder. Örnek segmentasyonu, genellikle Ultralytics YOLO26 gibi bir modelin kullanıcı müdahalesi olmadan önceden tanımlanmış sınıfları (ör. "araba," "insan," "köpek") tespit edip ana hatlarıyla belirlediği, tamamen otomatik bir süreçtir. Bunun nasıl çalıştığı hakkında daha fazla bilgiyi örnek segmentasyonu kılavuzumuzda bulabilirsin.

Buna karşılık, etkileşimli segmentasyon kesin olarak önceden tanımlanmış sınıflara dayanmaz. Sınıftan bağımsızdır; yani kullanıcı neyi gösterirse onu segmente eder. Bu özelliği, yeni nesnelerin hızla açıklanması ve Ultralytics Platformu gibi araçlar kullanılarak özel veri kümelerine eklenmesi gereken aktif öğrenme işlem hatları için onu mükemmel bir seçenek hâline getirir.

Ultralytics Kullanarak Örnek#

PyTorch ve ultralytics Python paketiyle kendi projelerinde etkileşimli segmentasyonu kolayca uygulayabilirsin. Bu örnekte, bir sınırlayıcı kutu istemi sağlayarak belirli bir nesneyi segmente etmek için FastSAM kullanıyoruz.

from ultralytics import FastSAM

# Load a pretrained FastSAM model
model = FastSAM("FastSAM-s.pt")

# Perform interactive segmentation using a bounding box prompt [x1, y1, x2, y2]
results = model("path/to/image.jpg", bboxes=[100, 100, 300, 300])

# Display the segmented result on screen
results[0].show()

Bu kod parçacığı, basit bir uzamsal istemin modeli ilgi bölgesini izole etmeye nasıl doğrudan yönlendirdiğini ve karmaşık görüntü segmentasyonu görevlerini minimum kodla nasıl kolaylaştırdığını gösterir.