İstemle yönlendirilebilir kavram bölütlemeyi anlama

Görsel yapay zekâ hızla ilerliyor ve gerçek dünya ortamlarında görüntüleri ve videoları analiz etmek için yaygın olarak kullanılıyor. Örneğin trafik yönetimi sistemlerinden perakende analizine kadar pek çok uygulama bilgisayarlı görü modelleriyle entegre ediliyor.

Bu uygulamaların çoğunda nesne tespit modelleri gibi görsel modeller; araçlar, insanlar ve ekipmanlar dâhil olmak üzere önceden belirlenmiş bir nesne kümesini tanıyacak şekilde eğitilir. Eğitim sırasında bu modellere çok sayıda etiketli örnek gösterilir; böylece modeller her nesnenin nasıl göründüğünü ve sahnedeki diğer nesnelerden nasıl ayırt edileceğini öğrenebilir.

Segmentasyon görevlerinde modeller, bu nesnelerin çevresinde piksel düzeyinde hassas sınırlar oluşturarak bir adım daha ileri gider. Bu, sistemlerin her nesnenin görüntüde tam olarak nerede bulunduğunu anlamasını sağlar.

Sistem yalnızca eğitim aldığı nesneleri tanımak zorunda olduğu sürece bu yöntem iyi çalışır. Ancak gerçek dünya ortamlarında durum nadiren böyledir.

Görsel sahneler genellikle dinamiktir. Yeni nesneler ve görsel kavramlar ortaya çıkar, koşullar değişir ve kullanıcılar çoğu zaman ilk eğitim düzeninde yer almayan nesneleri segmentlere ayırmak ister.

Bu sınırlamalar özellikle segmentasyon söz konusu olduğunda belirgindir. Görsel yapay zekâ gelişmeye devam ettikçe tekrar tekrar yeniden eğitim gerektirmeden yeni kavramlara uyum sağlayabilen daha esnek segmentasyon modellerine duyulan ihtiyaç artıyor. Bu nedenle istemle yönlendirilebilir kavram segmentasyonu (PCS) giderek daha fazla ilgi görüyor.

Kullanıcılar sabit bir nesne kategorileri listesine bağlı kalmak yerine segmentlere ayırmak istediklerini metin, görsel istemler veya örnek görüntülerle açıklayabilir. Ardından bu modeller, eğitim sırasında açıkça yer almamış olsa bile açıklanan kavramla eşleşen tüm bölgeleri belirleyip segmentlere ayırabilir.

Bu makalede, istemle yönlendirilebilir kavram segmentasyonunun nasıl çalıştığını, geleneksel yaklaşımlardan nasıl ayrıldığını ve günümüzde nerelerde kullanıldığını inceleyeceğiz.

İstemle yönlendirilebilir kavram segmentasyonu nedir?#

Çoğu durumda segmentasyon modelleri, kısa bir nesne türleri listesini tanıyacak şekilde eğitilir. Görsel yapay zekâ sisteminin yalnızca belirli bir nesne kümesini tespit edip segmentlere ayırması gerektiğinde bu yöntem iyi çalışır.

Ancak gerçek dünyadaki uygulamalarda görsel sahneler dinamiktir. Yeni nesneler ortaya çıkar, görev gereksinimleri değişir ve kullanıcıların çoğu zaman ilk etiket kümesinde yer almayan kavramları segmentlere ayırması gerekir. Bu durumları desteklemek genellikle yeni, yüksek kaliteli veriler ve açıklamalar toplamayı ve modeli yeniden eğitmeyi gerektirir; bu da maliyeti artırır ve devreye almayı yavaşlatır.

İstemle yönlendirilebilir kavram segmentasyonu, kullanıcıların sabit bir etiket listesinden seçim yapmak yerine modele ne aradığını söylemesine olanak tanıyarak bu sorunu çözer. Kullanıcılar aradıkları nesneyi veya fikri açıklar, model de görüntüdeki eşleşen tüm alanları vurgular. Böylece kullanıcının ne istediğini görüntüdeki gerçek piksellerle ilişkilendirmek çok daha kolay olur.

Şekil 1. Segmentasyon için kavram istemlerinin kullanımına bakış (Kaynak)

Farklı istem türleriyle segmentasyonu yönlendirme#

İstemle yönlendirilebilir kavram segmentasyonunu destekleyen modeller esnektir; çünkü farklı türlerde girdiler alabilir. Başka bir deyişle, modele ne aradığını söylemenin birden fazla yolu vardır; örneğin metin açıklamaları, görsel ipuçları veya örnek görüntüler kullanılabilir.

Her yaklaşıma daha yakından bakalım:

• Metin istemleri: Segmentlere ayrılacak kavramı açıklamak için “okul otobüsü” veya “tümör bölgesi” gibi kısa ifadeler kullanılabilir. Model, sözcüklerin anlamını yorumlar ve eşleşen bölgeleri belirler.
• Görsel istemler: Bu istemlerde görüntü içindeki noktalar, kutular veya kabataslak çizimler ipucu olarak kullanılır. Bu işaretler modelin nereye bakacağını yönlendirir ve son sınırın belirlenmesine yardımcı olur.
• Örnek görüntüler: Referans görüntüler veya küçük kırpılmış alanlar, ilgilenilen kavramı temsil eder. Model görsel olarak benzer bölgeleri arar ve görünüşlerine göre bu bölgeleri segmentlere ayırır.

PCS ile geleneksel segmentasyon arasındaki fark#

İstemle yönlendirilebilir kavram segmentasyonunun nasıl çalıştığına geçmeden önce bunu çeşitli geleneksel nesne segmentasyonu yöntemleriyle karşılaştıralım.

PCS, açık söz dağarcığına sahip ve istemlerle yönlendirilen modelleri mümkün kılar. İstemlerle açıklanan yeni fikirlerle çalışabilir; geleneksel segmentasyon ise bunu yapamaz. Her birinin kendine özgü varsayımları ve sınırlamaları olan birkaç farklı geleneksel segmentasyon yaklaşımı vardır.

Geleneksel segmentasyonun temel türlerinden bazılarına kısaca göz atalım:

• Anlamsal segmentasyon: Görüntüdeki her piksel yol, bina veya insan gibi bir kategorinin parçası olarak etiketlenir. Aynı etikete sahip tüm pikseller bir araya getirilir; bu nedenle model tek tek nesne örneklerini birbirinden ayırmaz.
• Örnek segmentasyonu: Model, nesneleri tek tek belirleyip segmentlere ayırır; böylece iki kişi veya iki otomobil ayrı öğeler olarak ele alınır.
• Panoptik segmentasyon: Bu teknik, arka plan bölgelerini ve tek tek nesneleri kapsayan eksiksiz bir sahne görünümü sunmak için anlamsal segmentasyonla örnek segmentasyonunu birleştirir.

Bu yaklaşımların tümü, önceden belirlenmiş bir nesne kategorileri listesine dayanır. Kendi kapsamları içinde iyi çalışırlar, ancak bu kapsamın dışındaki kavramları ele almakta pek başarılı değildirler. Yeni ve belirli bir nesnenin segmentlere ayrılması gerektiğinde genellikle ek eğitim verileri ve model ince ayarı gerekir.

PCS bunu değiştirmeyi amaçlar. Önceden belirlenmiş kategorilere bağlı kalmak yerine çıkarım sırasında görüntüde neyi segmentlere ayırmak istediğini açıklamana olanak tanır.

PCS modellerinin gelişimi#

Şimdi segmentasyon modellerinin istemle yönlendirilebilir kavram segmentasyonuna doğru nasıl geliştiğine bakalım.

Segmentasyonda bir dönüm noktasına işaret eden popüler temel modellerden biri SAM, yani Her Şeyi Segmentle Modeli'ydi. Model 2023'te tanıtıldı. Önceden belirlenmiş nesne kategorilerine dayanmak yerine SAM, kullanıcıların noktalar veya sınırlayıcı kutular gibi basit görsel istemlerle segmentasyonu yönlendirmesine olanak tanıdı.

SAM ile kullanıcıların artık bir etiket seçmesi gerekmiyordu. Nesnenin nerede olduğunu belirtmeleri yeterliydi; model de nesne için bir maske oluşturuyordu. Bu, segmentasyonu daha esnek hâle getirdi ancak kullanıcıların yine de modele nereye bakacağını göstermesi gerekiyordu.

2024'te yayımlanan SAM 2, daha karmaşık sahneleri işleyerek ve istemle yönlendirilebilir segmentasyonu videoya genişleterek bu yaklaşımı ilerletti. Segmentasyonu yönlendirmek için hâlâ ağırlıklı olarak görsel istemlere dayanırken farklı aydınlatma koşullarına, nesne şekillerine ve hareketlere karşı dayanıklılığı artırdı.

SAM 3 modeli, bu gelişimin en yeni aşamasıdır. Geçen yıl yayımlanan model, görsel anlayışı dil yönlendirmesiyle birleştiren ve görüntü ile video segmentasyonu görevlerinde tutarlı davranış sağlayan birleşik bir modeldir.

SAM 3 ile kullanıcılar yalnızca işaretleme veya çizim istemleriyle sınırlı kalmaz. Bunun yerine, metinle neyi segmentlere ayırmak istediklerini açıklayabilir ve modelin bu açıklamaya uyan bölgeleri görüntüde veya video karelerinde bulmasını sağlayabilirler.

Segmentasyon, sabit nesne kategorileri yerine kavramlar tarafından yönlendirilir; böylece farklı sahnelerde ve zaman içinde açık sözcük dağarcığı kullanımı desteklenir. SAM 3, Wikidata gibi kaynaklardan türetilen ve büyük ölçekli eğitim verileriyle genişletilen bir ontolojiye dayanan geniş, öğrenilmiş bir kavram uzayında çalışır.

Şekil 2. SAM 3'ü yönlendirme ve tek bir görüntüyü segmentlere ayırma örneği (Kaynak)

Geometrik istemlere büyük ölçüde dayanan önceki sürümlerle karşılaştırıldığında SAM 3, daha esnek ve kavram odaklı segmentasyona doğru atılmış bir adımdır. Bu sayede nesnelerin veya fikirlerin değişebildiği ve her zaman önceden tanımlanamadığı gerçek dünya uygulamalarına daha uygundur.

İstemle yönlendirilebilir kavram segmentasyonunun nasıl çalıştığını keşfetme#

Peki, istemlenebilir kavram segmentasyonu nasıl çalışır? Bu yaklaşım, büyük önceden eğitilmiş görsel modellere ve görsel dil modellerine dayanır; bu modeller büyük görüntü koleksiyonları ve çoğu durumda eşleştirilmiş metinler üzerinde eğitilir. Bu eğitim, modellerin genel görsel örüntüleri ve anlamsal anlamı öğrenmesini sağlar.

Çoğu PCS modeli, farklı bölgelerin birbiriyle ilişkisini anlamak için görüntünün tamamını aynı anda işleyen Transformer tabanlı mimariler kullanır. Bir görsel Transformer, görüntüden görsel özellikleri çıkarırken metin kodlayıcı sözcükleri modelin işleyebileceği sayısal temsillere dönüştürür.

Eğitim sırasında bu modeller; nesnelerin kesin sınırlarını tanımlayan piksel düzeyinde maskeler, nesnelerin yaklaşık konumlarını belirten sınırlayıcı kutular ve görüntüde nelerin bulunduğunu açıklayan görüntü düzeyinde etiketler dâhil olmak üzere farklı gözetim türlerinden öğrenebilir. Farklı türlerde etiketlenmiş verilerle eğitim, modelin hem ince ayrıntıları hem de daha geniş görsel kavramları yakalamasına yardımcı olur.

Çıkarım sırasında, yani model tahmin üretmek için gerçekten kullanıldığında, PCS istem odaklı bir süreç izler. Kullanıcı; metin açıklamaları, noktalar veya kutular gibi görsel ipuçları ya da örnek görüntülerle yönlendirme sağlar. Model hem istemi hem de görüntüyü ortak bir iç temsile, yani gömmelere kodlar ve açıklanan kavramla örtüşen bölgeleri belirler.

Ardından maske kod çözücü, bu ortak temsili piksel düzeyinde hassas segmentasyon maskelerine dönüştürür. Model görsel özellikleri anlamsal anlamla ilişkilendirdiği için eğitim sırasında açıkça yer almamış yeni kavramları da segmentlere ayırabilir.

Ayrıca çoğu zaman istem ayarlanarak veya ek yönlendirme eklenerek çıktı iyileştirilebilir; bu da modelin karmaşık ya da belirsiz sahneleri işlemesine yardımcı olur. Bu yinelemeli süreç, dağıtım sırasında pratik optimizasyon sağlar.

İstemlenebilir kavram segmentasyonu modelleri genellikle daha önce görülmemiş kavramları ne kadar iyi segmentlere ayırdıklarına ve farklı sahnelerde ne kadar sağlam performans gösterdiklerine göre değerlendirilir. Kıyaslamalar çoğunlukla gerçek dünya dağıtım gereksinimlerini yansıtan maske kalitesine, genelleme kabiliyetine ve hesaplama verimliliğine odaklanır.

PCS'nin gerçek dünyadaki kullanım alanları#

Şimdi istemlenebilir kavram segmentasyonunun nerelerde kullanıldığına ve nasıl gerçek bir etki yaratmaya başladığına bakalım.

Tıbbi görüntülemede esnek görüntü segmentasyonu#

Tıbbi görüntüleme; çok sayıda biyolojik yapıyı, hastalığı ve tarama türünü kapsar ve her gün yeni vakalar ortaya çıkar. Geleneksel segmentasyon modelleri bu çeşitliliğe ayak uydurmakta zorlanır.

PCS bu alana doğal biçimde uyum sağlar; çünkü klinisyenlerin kısa ve katı bir listeden seçim yapmak yerine bulmak istediklerini tarif etmelerine olanak tanır. Metin ifadeleri veya görsel istemler kullanılarak organlar ya da endişe duyulan bölgeler doğrudan segmentlere ayrılabilir; her yeni görev için modeli yeniden eğitmek gerekmez. Bu yaklaşım, farklı klinik gereksinimleri karşılamayı kolaylaştırır, elle maske çizme ihtiyacını azaltır ve birçok görüntüleme türünde çalışır.

Buna harika bir örnek, SAM 3 mimarisini tıbbi görüntülemede metin istemleriyle kullanılabilen PCS için uyarlayan MedSAM-3 modelidir. Bu modele karaciğer veya böbrek gibi organ adları ve tümör ya da lezyon gibi lezyonla ilgili kavramlar dâhil olmak üzere açık anatomik ve patolojik terimlerle istem verilebilir. Model, verilen istem doğrultusunda tıbbi görüntüdeki ilgili bölgeyi doğrudan segmentlere ayırır.

MedSAM-3 ayrıca hem metin hem de görüntüler üzerinden akıl yürütebilen çok modlu büyük dil modellerini (MLLM'ler veya çok modlu LLM'ler) entegre eder. Bu modeller, daha zorlu vakalarda doğruluğu artırmak için sonuçların yinelemeli olarak iyileştirildiği, ajanın sürece dâhil olduğu bir kurulumda çalışır.

Şekil 3. Tıbbi görüntülerde metin istemiyle tümör segmentasyonu için MedSAM-3 işlem hattı (Kaynak)

MedSAM-3; X-ray, MRI, CT, ultrason ve video verilerinde iyi performans göstererek PCS'nin gerçek klinik ortamlarda daha esnek ve verimli tıbbi görüntüleme iş akışları sağlayabileceğini ortaya koyar.

Robotik cerrahi ve otomasyon için uyarlanabilir segmentasyon#

Robotik cerrahi, aletleri izlemek ve hızla değişen cerrahi sahneleri anlamak için görsel sistemlere dayanır. Aletler hızla hareket eder, aydınlatma değişir ve her an yeni aletler ortaya çıkabilir; bu da önceden tanımlanmış etiket sistemlerinin bakımını zorlaştırır.

PCS ile robotlar aletleri izleyebilir, kameralara yön verebilir ve cerrahi adımları gerçek zamanlı takip edebilir. Bu, elle etiketleme ihtiyacını azaltır ve sistemlerin farklı prosedürlere uyarlanmasını kolaylaştırır. Cerrahlar veya otomatik sistemler, görüntüde neyin segmentlere ayrılması gerektiğini belirtmek için “gripper”, “scalpel” veya “camera tool” gibi metin istemleri kullanabilir.

Şekil 4. Robotik cerrahide kullanılan cerrahi aletlerin segmentasyonu (Kaynak)

Ultralytics YOLOE-26 ile açık sözcük dağarcıklı segmentasyon#

İstemle yönlendirilebilir kavram segmentasyonuyla ilişkili, son teknoloji bir diğer ilgi çekici model de Ultralytics YOLOE-26. Bu model, açık kelime dağarcıklı ve istem odaklı segmentasyonu Ultralytics YOLO model ailesine taşıyor.

YOLOE-26, Ultralytics YOLO26 mimarisi üzerine kuruludur ve açık sözcük dağarcıklı örnek segmentasyonunu destekler. YOLOE-26, kullanıcıların segmentasyonu çeşitli yollarla yönlendirmesine olanak tanır.

Hedef nesneyi tanımlayabilen, görsel temellere dayalı kısa ifadeler kullanan metin istemlerinin yanı sıra görüntü ipuçlarına dayalı ek yönlendirme sağlayan görsel istemleri de destekler. Ayrıca YOLOE-26, modelin kullanıcı istemlerine gerek duymadan yerleşik bir sözcük dağarcığındaki nesneleri algılayıp segmentlere ayırdığı, sıfır örnekli çıkarım için istem gerektirmeyen bir mod sunar.

YOLOE-26; nesne kategorilerinin değişebildiği, ancak düşük gecikme ve güvenilir iş hacminin önemini koruduğu video analitiği, robotik algılama ve uç sistemler gibi uygulamalar için idealdir. Ayrıca etiketleme sürecinin bazı bölümlerini otomatikleştirerek iş akışlarını kolaylaştırdığı için veri etiketleme ve veri kümesi düzenleme süreçlerinde de özellikle kullanışlıdır.

İstemlenebilir kavram segmentasyonunun artıları ve eksileri#

İstemlenebilir kavram segmentasyonunu kullanmanın başlıca avantajlarından bazıları şunlardır:

• Daha hızlı yineleme ve prototipleme: Veri kümelerini yeniden oluşturmak veya modelleri yeniden eğitmek yerine istemleri değiştirerek yeni segmentasyon görevleri hızla test edilebilir; bu da deney ve geliştirme sürecini hızlandırır.
• Alanlar arasında uyarlanabilirlik: Aynı PCS modeli, çoğu zaman iş akışında çok az değişiklikle tıbbi görüntüleme, robotik veya video analitiği gibi farklı alanlarda kullanılabilir.
• Etkileşimli iyileştirme: Kullanıcılar sonuçları geliştirmek için istemleri yinelemeli olarak ayarlayabilir veya yönlendirme ekleyebilir; böylece yeniden eğitim yapmadan belirsiz sahneleri ya da uç durumları ele almak kolaylaşır.

PCS'nin belirgin avantajları olsa da göz önünde bulundurman gereken bazı sınırlamaları vardır:

• İsteme duyarlılık: İstemin yazılma veya sunulma biçimindeki küçük değişiklikler çıktıyı etkileyebilir. Fazla belirsiz ya da fazla spesifik istemler, eksik veya hatalı segmentasyona yol açabilir.
• Daha az öngörülebilir davranış: Model sabit etiketler arasından seçim yapmak yerine istemleri yorumladığından, sonuçlar sahneler ve girdiler arasında daha fazla değişiklik gösterebilir; bu da sıkı biçimde kontrol edilen işlem hatlarında sorun yaratabilir.
• Kavramların belirsiz yorumlanması: Bazı kavramlar özneldir veya net biçimde tanımlanmamıştır; bu da kullanıcılar arasında ya da görüntüler genelinde tutarsız segmentasyon sonuçlarına yol açabilir.
• Oldukça spesifik hedeflerde sınırlı güvenilirlik: İstem tabanlı modeller, ince özelliklerin hassas ve tutarlı biçimde belirlenmesini gerektiren kusur tespiti gibi dar kapsamlı, örneğe özgü görevlerde genellikle daha az güvenilirdir.

İstemlenebilir ve geleneksel segmentasyon arasında seçim yapma#

İstemlenebilir segmentasyonu incelerken, hangi uygulamalara en uygun olduğunu ve çözmeye çalıştığın sorun için Ultralytics YOLO26 gibi geleneksel bir bilgisayarlı görü modelinin ne zaman daha uygun olacağını merak edebilirsin. İstemlenebilir segmentasyon genel nesnelerde iyi çalışır ancak çok hassas ve tutarlı sonuçlar gerektiren kullanım alanlarına uygun değildir.

Kusur tespiti buna iyi bir örnektir. Üretimde kusurlar genellikle küçük çizikler, ezikler, hizalama bozuklukları veya yüzey düzensizlikleri gibi çok küçük ve belirsiz izlerdir. Ayrıca malzemelere, aydınlatmaya ve üretim koşullarına bağlı olarak büyük farklılıklar gösterebilirler.

Bu sorunları basit bir istemle tarif etmek zordur; genel amaçlı bir modelin bunları güvenilir biçimde tespit etmesi ise daha da zordur. Genel olarak istem tabanlı modeller kusurları gözden kaçırma veya istikrarsız sonuçlar üretme eğilimindeyken, özellikle kusur verileriyle eğitilmiş modeller gerçek dünyadaki denetim sistemlerinde çok daha güvenilirdir.

Önemli çıkarımlar#

İstemlenebilir kavram segmentasyonu, sürekli yeni nesnelerin ve fikirlerin ortaya çıktığı gerçek dünyaya görsel sistemleri uyarlamayı kolaylaştırır. Kullanıcılar sabit etiketlere bağlı kalmak yerine segmentlere ayırmak istediklerini tarif edip gerisini modele bırakabilir; bu da zaman kazandırır ve elle yapılan işi azaltır. Sınırlamaları olsa da PCS, segmentasyonun uygulamadaki kullanım biçimini şimdiden değiştiriyor ve gelecekteki görsel sistemlerin temel bir parçası hâline gelmesi muhtemel.

GitHub depomuzu ziyaret ederek ve topluluğumuza katılarak yapay zekâ hakkında daha fazlasını keşfet. Robotikte yapay zekâ ve üretimde bilgisayarlı görü hakkında bilgi edinmek için çözüm sayfalarımıza göz at. Görsel yapay zekâyı bugün kullanmaya başlamak için lisans seçeneklerimizi keşfet!