İstemle yönlendirilebilir kavram bölütlemeyi anlama

Görsel yapay zekâ hızla ilerliyor ve gerçek dünya ortamlarında görüntüleri ve videoları analiz etmek için yaygın olarak kullanılıyor. Örneğin, trafik yönetim sistemlerinden perakende analitiğine kadar çeşitli uygulamalar bilgisayarlı görü modelleri ile entegre ediliyor.

Bu uygulamaların çoğunda, nesne algılama modelleri gibi görsel modeller; araçlar, insanlar ve ekipmanlar dahil olmak üzere önceden tanımlanmış bir nesne kümesini tanıyacak şekilde eğitilir. Eğitim sırasında bu modellere çok sayıda etiketli örnek gösterilir; böylece her nesnenin nasıl göründüğünü ve bir sahnede diğerlerinden nasıl ayırt edileceğini öğrenebilirler.

Segmentasyon görevlerinde modeller, bu nesnelerin çevresinde piksel düzeyinde hassas ana hatlar oluşturarak bir adım daha ileri gider. Bu sayede sistemler, her nesnenin bir görüntüde tam olarak nerede bulunduğunu anlayabilir.

Sistem yalnızca eğitim aldığı şeyleri tanımaya ihtiyaç duyduğu sürece bu yaklaşım iyi çalışır. Ancak gerçek dünya ortamlarında durum nadiren böyledir.

Görsel sahneler genellikle dinamiktir. Yeni nesneler ve görsel kavramlar ortaya çıkar, koşullar değişir ve kullanıcılar çoğu zaman ilk eğitim düzeninin parçası olmayan nesneleri segmentlere ayırmak ister.

Bu sınırlamalar özellikle segmentasyon söz konusu olduğunda belirgindir. Görsel yapay zekâ gelişmeye devam ederken, tekrar tekrar yeniden eğitim gerektirmeden yeni kavramlara uyum sağlayabilen daha esnek segmentasyon modellerine duyulan ihtiyaç artıyor. Bu nedenle istemle yönlendirilebilir kavram segmentasyonu (PCS) giderek daha fazla ilgi görüyor.

Kullanıcılar, sabit bir nesne kategorileri listesine bağlı kalmak yerine segmentlere ayırmak istediklerini metin, görsel istemler veya örnek görüntüler kullanarak tanımlayabilir. Bu modeller daha sonra, eğitim sırasında açıkça yer almamış olsa bile, tanımlanan kavramla eşleşen tüm bölgeleri belirleyip segmente ayırabilir.

Bu makalede istemle yönlendirilebilir kavram segmentasyonunun nasıl çalıştığını, geleneksel yaklaşımlardan nasıl ayrıldığını ve günümüzde nerelerde kullanıldığını inceleyeceğiz.

İstemle yönlendirilebilir kavram segmentasyonu nedir?#

Çoğu durumda segmentasyon modelleri, kısa bir nesne türleri listesini tanıyacak şekilde eğitilir. Bu yaklaşım, bir görsel yapay zekâ sisteminin yalnızca belirli bir nesne kümesini algılayıp segmente etmesi gerektiğinde iyi çalışır.

Ancak gerçek dünya uygulamalarında görsel sahneler dinamiktir. Yeni nesneler ortaya çıkar, görev gereksinimleri değişir ve kullanıcılar çoğu zaman ilk etiket kümesine dahil edilmeyen kavramları segmente etmek ister. Bu durumları desteklemek genellikle yeni, yüksek kaliteli veriler ve anotasyonlar toplamayı ve modeli yeniden eğitmeyi gerektirir; bu da maliyeti artırır ve dağıtımı yavaşlatır.

İstemle yönlendirilebilir kavram segmentasyonu, kullanıcıların sabit bir etiket listesinden seçim yapmak yerine modele ne arayacağını söylemesine olanak tanıyarak bu sorunu çözer. Kullanıcılar aradıkları nesneyi veya fikri tanımlar ve model görüntüde eşleşen tüm alanları vurgular. Bu, kullanıcının niyeti ile görüntüdeki gerçek pikseller arasında bağlantı kurmayı çok daha kolay hâle getirir.

Şekil 1. Segmentasyon için kavram istemlerinin kullanımına genel bakış (Kaynak)

Farklı istem türleriyle segmentasyonu yönlendirme#

İstemle yönlendirilebilir kavram segmentasyonunu destekleyen modeller esnektir; çünkü farklı girdi türlerini alabilirler. Başka bir deyişle, modele ne arayacağını söylemenin metin açıklamaları, görsel ipuçları veya örnek görüntüler gibi birden fazla yolu vardır.

Her yaklaşıma daha yakından bakalım:

• Metin istemleri: Segmentlere ayrılacak kavramı tanımlamak için “okul otobüsü” veya “tümör bölgesi” gibi kısa ifadeler kullanılabilir. Model, kelimelerin anlamını yorumlar ve eşleşen bölgeleri belirler.
• Görsel istemler: Bu istemler, görüntünün içindeki noktaları, kutuları veya kabataslak çizimleri ipucu olarak kullanır. Bu işaretler nereye bakılması gerektiğini yönlendirir ve nihai sınırın şekillenmesine yardımcı olur.
• Görüntü örnekleri: Referans görüntüler veya küçük kırpılmış görüntüler, ilgi duyulan kavramı temsil eder. Model görsel olarak benzer bölgeleri arar ve bunları görünümlerine göre segmente eder.

PCS ile geleneksel segmentasyon arasındaki fark#

İstemle yönlendirilebilir kavram segmentasyonunun nasıl çalıştığına geçmeden önce, bunu çeşitli geleneksel nesne segmentasyonu yöntemleriyle karşılaştıralım.

PCS, açık kelime dağarcığına sahip ve istem odaklı modeller sağlar. İstemlerle tanımlanan yeni fikirlerle çalışabilir; geleneksel segmentasyon ise çalışamaz. Her birinin kendine özgü varsayımları ve sınırlamaları olan birkaç farklı geleneksel segmentasyon yaklaşımı vardır.

Geleneksel segmentasyonun bazı temel türlerine kısaca göz atalım:

• Semantik segmentasyon: Görüntüdeki her piksel yol, bina veya insan gibi bir kategorinin parçası olarak etiketlenir. Aynı etikete sahip tüm pikseller birlikte gruplanır; bu nedenle model tek tek nesne örneklerini birbirinden ayırmaz.
• Örnek segmentasyonu: Model tek tek nesneleri belirleyip segmente eder; böylece iki insan veya iki araba ayrı öğeler olarak ele alınır.
• Panoptik segmentasyon: Bu teknik, hem arka plan bölgelerini hem de tek tek nesneleri kapsayarak sahnenin eksiksiz bir görünümünü sunmak için semantik ve örnek segmentasyonunu birleştirir.

Tüm bu yaklaşımlar, önceden tanımlanmış bir nesne kategorileri listesine dayanır. Bu kapsam içinde iyi çalışırlar, ancak kapsam dışındaki kavramları ele almakta zorlanırlar. Yeni ve belirli bir nesnenin segmente edilmesi gerektiğinde genellikle ek eğitim verileri ve modelin ince ayarı gerekir.

PCS bunu değiştirmeyi amaçlar. Önceden tanımlanmış kategorilere bağlı kalmak yerine, çıkarım sırasında bir görüntüde neyi segmente etmek istediğini tanımlamana olanak tanır.

PCS modellerinin gelişimi#

Şimdi segmentasyon modellerinin istemle yönlendirilebilir kavram segmentasyonuna doğru nasıl geliştiğine bakalım.

Segmentasyonda bir değişime öncülük eden popüler bir temel model SAM veya Segment Anything Model'dir. Model 2023'te tanıtıldı. Önceden tanımlanmış nesne kategorilerine dayanmak yerine SAM, kullanıcıların noktalar veya sınırlayıcı kutular gibi basit görsel istemlerle segmentasyonu yönlendirmesine olanak tanıdı.

SAM ile kullanıcıların artık bir etiket seçmesi gerekmiyordu. Bir nesnenin nerede olduğunu belirtmeleri yeterliydi; model de nesne için bir maske oluşturuyordu. Bu, segmentasyonu daha esnek hâle getirdi, ancak kullanıcıların yine de modele nereye bakacağını göstermesi gerekiyordu.

2024'te yayımlanan SAM 2, daha karmaşık sahneleri ele alarak ve istemle yönlendirilebilir segmentasyonu videoya genişleterek bu fikri geliştirdi. Segmentasyonu yönlendirmek için hâlâ çoğunlukla görsel istemlere dayanırken farklı aydınlatma koşullarında, nesne şekillerinde ve hareketlerde dayanıklılığı artırdı.

SAM 3 modeli bu gelişimdeki en yeni adımdır. Geçen yıl yayımlandı ve görsel anlayışı dil yönlendirmesiyle birleştiren birleşik bir modeldir; görüntü ve video segmentasyonu görevlerinde tutarlı davranış sağlar.

SAM 3 ile kullanıcılar yalnızca işaret etmek veya çizim istemleri kullanmakla sınırlı değildir. Bunun yerine segmente etmek istediklerini metinle tanımlayabilir ve model görüntüde veya video karelerinde bu açıklamayla eşleşen bölgeleri arar.

Segmentasyon, sabit nesne kategorileri yerine kavramlarla yönlendirilir; böylece farklı sahnelerde ve zaman içinde açık kelime dağarcığı kullanımı desteklenir. Hatta SAM 3, Wikidata gibi kaynaklardan türetilen ve büyük ölçekli eğitim verileriyle genişletilen bir ontolojiye dayanan, öğrenilmiş geniş bir kavram uzayı üzerinde çalışır.

Şekil 2. SAM 3'e istem verme ve tek bir görüntüyü segmente etme örneği (Kaynak)

Çoğunlukla geometrik istemlere dayanan önceki sürümlerle karşılaştırıldığında SAM 3, daha esnek ve kavram odaklı segmentasyona doğru atılmış bir adımı temsil eder. Bu da onu, ilgi duyulan nesnelerin veya fikirlerin değişebildiği ve her zaman önceden tanımlanamadığı gerçek dünya uygulamaları için daha uygun hâle getirir.

İstemle yönlendirilebilir görsel segmentasyonun nasıl çalıştığını inceleme#

Peki istemle yönlendirilebilir kavram segmentasyonu nasıl çalışır? Büyük, önceden eğitilmiş görsel ve görsel dil modelleri üzerine kuruludur. Bu modeller, devasa görüntü koleksiyonları ve çoğu durumda bunlarla eşleştirilmiş metinler üzerinde eğitilir. Bu eğitim, genel görsel örüntüleri ve anlamsal anlamı öğrenmelerini sağlar.

PCS modellerinin çoğu, bir görüntünün tamamını tek seferde işleyerek farklı bölgelerin birbiriyle nasıl ilişkili olduğunu anlamasını sağlayan Transformer tabanlı mimariler kullanır. Bir görsel Transformer görüntüden görsel özellikleri çıkarırken, metin kodlayıcı kelimeleri modelin kullanabileceği sayısal temsillere dönüştürür.

Eğitim sırasında bu modeller; nesnelerin kesin sınırlarını tanımlayan piksel düzeyinde maskeler, nesnelerin yaklaşık konumunu belirleyen sınırlayıcı kutular ve görüntüde ne göründüğünü açıklayan görüntü düzeyinde etiketler dahil olmak üzere farklı gözetim türlerinden öğrenebilir. Farklı türlerde etiketli veriler kullanılarak yapılan eğitim, modelin hem ince ayrıntıları hem de daha geniş görsel kavramları yakalamasına yardımcı olur.

Çıkarım sırasında, yani model tahmin üretmek için gerçekten kullanıldığında, PCS istem odaklı bir süreç izler. Kullanıcı metin açıklamaları, noktalar veya kutular gibi görsel ipuçları ya da örnek görüntüler aracılığıyla yönlendirme sağlar. Model hem istemi hem de görüntüyü ortak bir dahili temsile veya gömmelere kodlar ve tanımlanan kavramla örtüşen bölgeleri belirler.

Daha sonra bir maske kod çözücü, bu ortak temsili hassas piksel düzeyinde segmentasyon maskelerine dönüştürür. Model görsel özellikleri anlamsal anlamla ilişkilendirdiği için, eğitim sırasında açıkça yer almamış yeni kavramları bile segmente edebilir.

Ayrıca çıktı çoğu zaman istem ayarlanarak veya ek yönlendirme eklenerek iyileştirilebilir; bu da modelin karmaşık ya da belirsiz sahneleri ele almasına yardımcı olur. Bu yinelemeli süreç, dağıtım sırasında pratik optimizasyonu destekler.

İstemle yönlendirilebilir kavram segmentasyonu modelleri genellikle daha önce görülmemiş kavramları ne kadar iyi segmente ettiklerine ve farklı sahnelerde ne kadar dayanıklı çalıştıklarına göre değerlendirilir. Kıyaslamalar çoğu zaman maske kalitesine, genelleştirmeye ve hesaplama verimliliğine odaklanır; bu da gerçek dünya dağıtım gereksinimlerini yansıtır.

PCS'nin gerçek dünya kullanım alanları#

Şimdi istemle yönlendirilebilir kavram segmentasyonunun hâlihazırda nerelerde kullanıldığına ve gerçek bir etki yaratmaya başladığına bakalım.

Tıbbi görüntüleme için esnek görüntü segmentasyonu#

Tıbbi görüntüleme çok sayıda biyolojik yapı, hastalık ve tarama türünü kapsar; her gün yeni vakalar ortaya çıkar. Geleneksel segmentasyon modelleri bu çeşitliliğe ayak uydurmakta zorlanır.

PCS, klinisyenlerin kısa ve katı bir listeden seçim yapmak yerine bulmak istediklerini tanımlamasına olanak tanıdığı için bu alana doğal olarak uyum sağlar. Metin ifadeleri veya görsel istemlerle PCS, her yeni görev için modeli yeniden eğitmeye gerek kalmadan organları ya da endişe verici bölgeleri doğrudan segmente etmek için kullanılabilir. Bu, çeşitli klinik ihtiyaçları ele almayı kolaylaştırır, manuel maske çizme gereksinimini azaltır ve birçok görüntüleme türünde çalışır.

Bunun iyi bir örneği, SAM 3 mimarisini tıbbi görüntülemede metin istemiyle yönlendirilebilir PCS için uyarlayan MedSAM-3'tür. Bu modele karaciğer veya böbrek gibi organ adları ve tümör veya lezyon gibi lezyonla ilgili kavramlar dahil olmak üzere açık anatomik ve patolojik terimlerle istem verilebilir. Bir istem sağlandığında model, tıbbi görüntüdeki ilgili bölgeyi doğrudan segmente eder.

MedSAM-3 ayrıca hem metin hem de görüntüler üzerinde akıl yürütebilen çok modlu büyük dil modellerini (MLLM'ler veya çok modlu LLM'ler) entegre eder. Bu modeller, daha zorlu vakalarda doğruluğu artırmak için sonuçların yinelemeli olarak iyileştirildiği, döngüde bir ajanın bulunduğu düzende çalışır.

Şekil 3. Tıbbi görüntülerde metin istemiyle tümör segmentasyonu için MedSAM-3 işlem hattı (Kaynak)

MedSAM-3; X-ray, MRI, CT, ultrason ve video verilerinde iyi performans göstererek PCS'nin gerçek klinik ortamlarda daha esnek ve verimli tıbbi görüntüleme iş akışlarını nasıl mümkün kılabileceğini ortaya koyar.

Robotik cerrahi ve otomasyon için uyarlanabilir segmentasyon#

Robotik cerrahi, aletleri takip etmek ve hızla değişen cerrahi sahneleri anlamak için görsel sistemlere dayanır. Aletler hızla hareket eder, aydınlatma değişir ve yeni araçlar her an ortaya çıkabilir; bu da önceden tanımlanmış etiket sistemlerinin sürdürülebilmesini zorlaştırır.

PCS ile robotlar aletleri takip edebilir, kameraları yönlendirebilir ve cerrahi adımları gerçek zamanlı olarak izleyebilir. Bu, manuel etiketlemeyi azaltır ve sistemlerin farklı prosedürlere uyarlanmasını kolaylaştırır. Cerrahlar veya otomatik sistemler, bir görüntüde neyin segmente edilmesi gerektiğini belirtmek için “tutucu”, “bistüri” veya “kamera aleti” gibi metin istemleri kullanabilir.

Şekil 4. Robotik cerrahi sırasında kullanılan cerrahi aletlerin segmentasyonu (Kaynak)

Ultralytics YOLOE-26 ile açık kelime dağarcıklı segmentasyon#

İstemle yönlendirilebilir kavram segmentasyonuyla ilgili bir diğer ilgi çekici son teknoloji modelimiz Ultralytics YOLOE-26'dır. Modelimiz, açık kelime dağarcıklı ve istem odaklı segmentasyonu Ultralytics YOLO model ailesine taşıyor.

YOLOE-26, Ultralytics YOLO26 mimarisi üzerine kuruludur ve açık kelime dağarcıklı örnek segmentasyonunu destekler. YOLOE-26, kullanıcıların segmentasyonu çeşitli şekillerde yönlendirmesine olanak tanır.

Hedef nesneyi kısa ve görsel olarak temellendirilmiş ifadelerle belirtebilen metin istemlerini ve görüntü ipuçlarına dayalı ek yönlendirme sağlayan görsel istemleri destekler. Ayrıca YOLOE-26, kullanıcı istemleri gerektirmeden modelin yerleşik bir kelime dağarcığındaki nesneleri algılayıp segmente ettiği sıfır örnekli çıkarım için istemsiz bir mod içerir.

YOLOE-26; nesne kategorilerinin değişebildiği, ancak düşük gecikme ve güvenilir işlem hacminin önemini koruduğu video analitiği, robotik algı ve uç tabanlı sistemler gibi uygulamalar için idealdir. Ayrıca veri etiketleme ve veri kümesi düzenleme için de özellikle kullanışlıdır; çünkü anotasyon sürecinin bazı bölümlerini otomatikleştirerek iş akışlarını kolaylaştırır.

İstemle yönlendirilebilir kavram segmentasyonunun artıları ve eksileri#

İstemle yönlendirilebilir kavram segmentasyonu kullanmanın başlıca avantajlarından bazıları şunlardır:

• Daha hızlı yineleme ve prototip oluşturma: Yeni segmentasyon görevleri, veri kümelerini yeniden oluşturmadan veya modelleri yeniden eğitmeden istemler değiştirilerek hızlıca test edilebilir; bu da deneme ve geliştirme sürecini hızlandırır.
• Alanlar arasında uyarlanabilirlik: Aynı PCS modeli çoğu zaman iş akışında çok az değişiklikle tıbbi görüntüleme, robotik veya video analitiği gibi farklı alanlara uygulanabilir.
• Etkileşimli iyileştirme: Kullanıcılar sonuçları geliştirmek için istemleri yinelemeli olarak ayarlayabilir veya yönlendirme ekleyebilir; bu da yeniden eğitim olmadan belirsiz sahnelerin veya uç durumların ele alınmasını kolaylaştırır.

PCS'nin belirgin avantajları olsa da dikkate alman gereken bazı sınırlamalar şunlardır:

• İstem hassasiyeti: Bir istemin yazılma veya sağlanma biçimindeki küçük değişiklikler çıktıyı etkileyebilir. Fazla belirsiz veya fazla spesifik istemler eksik ya da hatalı segmentasyona yol açabilir.
• Daha az öngörülebilir davranış: Model sabit etiketler arasından seçim yapmak yerine istemleri yorumladığı için sonuçlar sahneler ve girdiler arasında daha fazla değişebilir; bu da sıkı denetlenen iş akışlarında sorun yaratabilir.
• Belirsiz kavram yorumu: Bazı kavramlar öznel veya gevşek biçimde tanımlanmıştır; bu da kullanıcılar arasında veya görüntüler arasında tutarsız segmentasyon sonuçlarına yol açabilir.
• Son derece spesifik hedefler için sınırlı güvenilirlik: İstem tabanlı modeller, ince özelliklerin hassas ve tutarlı biçimde belirlenmesini gerektiren kusur tespiti gibi dar kapsamlı, örneğe özgü görevlerde genellikle daha az güvenilirdir.

İstemle yönlendirilebilir ve geleneksel segmentasyon arasında seçim yapma#

İstemle yönlendirilebilir segmentasyonu incelerken bunun hangi uygulamalar için en uygun olduğunu ve çözmeye çalıştığın problem için Ultralytics YOLO26 gibi geleneksel bir bilgisayarlı görü modelinin ne zaman daha iyi bir seçim olduğunu merak edebilirsin. İstemle yönlendirilebilir segmentasyon genel nesneler için iyi çalışır, ancak çok hassas ve tutarlı sonuçlar gerektiren kullanım alanları için uygun değildir.

Kusur tespiti buna iyi bir örnektir. Üretimde kusurlar genellikle küçük ve belirsizdir; örneğin küçük çizikler, ezikler, hizasızlıklar veya yüzey düzensizlikleri. Ayrıca malzemelere, aydınlatmaya ve üretim koşullarına bağlı olarak büyük ölçüde değişebilirler.

Bu sorunları basit bir istemle tanımlamak zordur ve genel amaçlı bir modelin bunları güvenilir biçimde tespit etmesi daha da zordur. Genel olarak istem tabanlı modeller kusurları gözden kaçırma veya kararsız sonuçlar üretme eğilimindeyken, özellikle kusur verileriyle eğitilmiş modeller gerçek dünya denetim sistemleri için çok daha güvenilirdir.

Önemli çıkarımlar#

İstemle yönlendirilebilir kavram segmentasyonu, sürekli olarak yeni nesnelerin ve fikirlerin ortaya çıktığı gerçek dünyaya görsel sistemlerin daha kolay uyum sağlamasını mümkün kılar. Kullanıcılar sabit etiketlere bağlı kalmak yerine segmente etmek istediklerini açıklayabilir ve gerisini modele bırakabilir; bu da zamandan tasarruf sağlar ve manuel işi azaltır. Hâlâ sınırlamaları olsa da PCS, segmentasyonun pratikte nasıl kullanıldığını şimdiden değiştiriyor ve geleceğin görsel sistemlerinin temel bir parçası hâline gelmesi muhtemel.

GitHub depomuzu ziyaret ederek ve topluluğumuza katılarak yapay zekâ hakkında daha fazla bilgi edin. Robotikte yapay zekâ ve üretimde bilgisayarlı görü hakkında bilgi edinmek için çözüm sayfalarımıza göz at. Görsel yapay zekâya bugün başlamak için lisans seçeneklerimizi keşfet!