Meta AI'ın Segment Anything Model 2 (SAM 2) modelinin uygulamaları

29 Temmuz 2024'te Meta AI, Segment Anything Model'in ikinci sürümü olan SAM 2'yi yayımladı. Yeni model, hem görüntülerde hem de videolarda hedef nesneye ait pikselleri belirleyebiliyor. Yeni model ayrıca gerçek zamanlı olarak tutarlı biçimde bir nesneyi videonun tüm karelerinde takip etmeyi mümkün kılıyor. SAM 2, video düzenleme, karma gerçeklik deneyimleri ve görsel verilerin daha hızlı etiketlenmesi alanlarında bilgisayarlı görü sistemlerini eğitmek için heyecan verici olanaklar sunuyor.

Deniz bilimi, uydu görüntüleri ve tıp gibi alanlarda kullanılan özgün SAM'in başarısını temel alan SAM 2, hızla hareket eden nesneler ve görünüm değişiklikleri gibi zorlukların üstesinden geliyor. Geliştirilmiş doğruluğu ve verimliliği, onu çok çeşitli uygulamalar için çok yönlü bir araç hâline getiriyor. Bu makalede SAM 2'nin hangi alanlarda kullanılabileceğine ve yapay zekâ topluluğu için neden önemli olduğuna odaklanacağız.

SAM 2 nedir?#

Segment Anything Model 2, hem görüntülerde hem videolarda istemle yönlendirilebilir görsel bölümlemeyi veya PVS'yi destekleyen gelişmiş bir temel modeldir. PVS, modelin kullanıcı tarafından verilen belirli istemlere veya girdilere dayanarak bir görüntünün ya da videonun farklı bölümlerini bölümleyebildiği veya belirleyebildiği bir tekniktir. Bu istemler, ilgi alanını vurgulayan tıklamalar, kutular ya da maskeler biçiminde olabilir. Ardından model, belirtilen alanın sınırlarını çizen bir bölümleme maskesi oluşturur.

SAM 2 mimarisi, görüntü bölümlemenin yanı sıra video bölümlemeyi de kapsayacak şekilde ilk SAM'in üzerine inşa edilmiştir. Görüntü verilerini ve istemleri kullanarak bölümleme maskeleri oluşturan hafif bir maske kod çözücü içerir. Videolar için SAM 2, önceki karelerden gelen bilgileri hatırlamasına yardımcı olan bir bellek sistemi sunarak zaman içinde doğru takibi güvence altına alır. Bellek sisteminde, bölümlenen nesnelerle ilgili ayrıntıları depolayan ve geri çağıran bileşenler bulunur. SAM 2 ayrıca örtülmeleri ele alabilir, nesneleri birden fazla kare boyunca takip edebilir ve birden çok olası maske oluşturarak belirsiz istemleri yönetebilir. SAM 2'nin gelişmiş mimarisi, onu hem statik hem de dinamik görsel ortamlarda son derece yetkin kılar.

Özellikle video bölümlemede SAM 2, önceki yöntemlere kıyasla üç kat daha az kullanıcı etkileşimiyle daha yüksek doğruluğa ulaşıyor. Görüntü bölümlemede ise ilk Segment Anything Model'i (SAM) geride bırakarak altı kat daha hızlı ve daha doğru sonuç veriyor. Bu iyileşme, SAM 2 araştırma makalesinde, SAM'in daha önce test edildiği 23 veri kümesi dâhil 37 farklı veri kümesinde gösterildi.

Şekil 1. SAM ve SAM 2'nin karşılaştırması.

İlginç bir şekilde Meta AI'ın SAM 2'si, bugüne kadarki en büyük video bölümleme veri kümesi olan SA-V veri kümesi oluşturularak geliştirildi. Kapsamlı veri kümesi 50.000'den fazla video ve 35,5 milyon bölümleme maskesi içeriyor ve etkileşimli kullanıcı katkılarıyla toplandı. Etiketleyiciler, modelin çok çeşitli senaryolardan ve nesne türlerinden öğrenmesine yardımcı olmak için istemler ve düzeltmeler sağladı.

Segment Anything Model 2'nin uygulamaları#

Görüntü ve video bölümlemedeki gelişmiş yetenekleri sayesinde SAM 2, çeşitli sektörlerde kullanılabilir. Bu uygulamalardan bazılarını inceleyelim.

SAM 2, Artırılmış Gerçeklik (AR) ve Sanal Gerçekliği (VR) mümkün kılıyor#

Meta AI'nin yeni bölümleme modeli, Artırılmış Gerçeklik (AR) ve Sanal Gerçeklik (VR) uygulamalarında kullanılabilir. Örneğin SAM 2, gerçek dünyadaki nesneleri doğru biçimde tanımlayıp bölümleyerek sanal nesnelerle etkileşimi daha gerçekçi hissettirebilir. Gerçek ve sanal öğeler arasında gerçekçi etkileşimin önemli olduğu oyun, eğitim ve öğretim gibi çeşitli alanlarda yararlı olabilir.

AR gözlükleri gibi cihazlar geliştikçe SAM 2'nin yetenekleri yakında bu cihazlara entegre edilebilir. Gözlüklerini takıp oturma odanda etrafına baktığını düşün. Aşağıdaki görselde gösterildiği gibi gözlüklerin köpeğinin su kabını bölümleyip fark ettiğinde sana kabı doldurmanı hatırlatabilir. Ya da yeni bir tarif hazırlıyorsan gözlükler tezgâhındaki malzemeleri tanımlayıp adım adım talimatlar ve ipuçları sunarak yemek yapma deneyimini iyileştirebilir ve ihtiyacın olan tüm malzemelerin elinin altında olmasını sağlayabilir.

Şekil 2. SAM 2 yakında AR gözlüklerinde kullanılabilir.

Segment Anything Model 2 ile sonar görüntüleme#

SAM modelini kullanan araştırmalar, modelin sonar görüntüleme gibi uzmanlık gerektiren alanlarda uygulanabileceğini göstermiştir. Düşük çözünürlük, yüksek gürültü düzeyi ve görüntülerdeki nesnelerin karmaşık şekilleri, sonar görüntülemeyi kendine özgü zorluklarla karşı karşıya bırakır. Araştırmacılar, SAM'i sonar görüntülerine göre ince ayarlayarak modelin deniz çöpleri, jeolojik oluşumlar ve ilgi çekici diğer nesneler gibi çeşitli su altı nesnelerini doğru biçimde bölütleyebildiğini göstermiştir. Hassas ve güvenilir su altı görüntüleme; habitat haritalama, eser keşfi ve tehdit tespiti gibi görevlerde deniz araştırmaları, su altı arkeolojisi, balıkçılık yönetimi ve gözetim için kullanılabilir.

Şekil 3. Sonar görüntülerini bölütlemek için ince ayarlanmış SAM kullanımına bir örnek.

SAM 2, SAM'in karşılaştığı birçok zorluğu temel alıp bu zorlukları iyileştirdiğinden sonar görüntülerinin analizini daha da geliştirme potansiyeline sahip. Hassas bölümleme yetenekleri, bilimsel araştırmalar ve balıkçılık dâhil çeşitli su altı uygulamalarına yardımcı olabilir. Örneğin SAM 2, su altı yapılarının sınırlarını etkili biçimde çizebilir, deniz çöplerini algılayabilir ve ileri bakan sonar görüntülerindeki nesneleri belirleyebilir; böylece su altı keşif ve izleme çalışmalarının daha doğru ve verimli olmasına katkı sağlar.

Sonar görüntülerini analiz etmek için SAM 2 kullanmanın olası faydaları şunlardır:

• Verimlilik: Elle bölütleme için gereken zamanı ve çabayı azaltarak uzmanların analiz ve karar verme süreçlerine daha fazla odaklanmasını sağlar.
• Tutarlılık: Büyük ölçekli deniz araştırmaları ve izleme için vazgeçilmez olan, tutarlı ve tekrarlanabilir bölütleme sonuçları sunar.
• Çok yönlülük: Geniş bir sonar görüntüsü yelpazesini işleyebilir; bu da onu deniz bilimi ve endüstrisindeki çeşitli uygulamalar için kullanışlı kılar.

SAM 2'yi sonar görüntüleme süreçlerine entegre ederek denizcilik sektörü, su altı keşif ve analizinde verimliliği, doğruluğu ve güvenilirliği artırabilir; bu da sonuç olarak deniz araştırmalarında daha iyi sonuçlar alınmasını sağlar.

Otonom araçlarda SAM 2 kullanımı#

SAM 2'nin bir diğer uygulama alanı otonom araçlardır. SAM 2; yayaları, diğer araçları, trafik işaretlerini ve engelleri gerçek zamanlı olarak hassas biçimde belirleyebilir. SAM 2'nin sağlayabildiği ayrıntı düzeyi, güvenli seyir ve çarpışmadan kaçınma kararları almak için önemlidir. SAM 2, görsel verileri hassas biçimde işleyerek ortamın ayrıntılı ve güvenilir bir haritasını oluşturmaya yardımcı olur ve daha iyi kararlar alınmasını sağlar.

Şekil 4. Trafiği anlamak için bölütleme kullanımı.

SAM 2'nin farklı aydınlatma koşullarında, değişen hava koşullarında ve dinamik ortamlarda iyi çalışabilmesi, onu otonom araçlar için güvenilir kılar. İster işlek bir şehir caddesi ister sisli bir otoyol olsun, SAM 2 nesneleri tutarlı biçimde doğru tanımlayıp bölütleyebilir; böylece araç çeşitli durumlara doğru şekilde tepki verebilir.

Ancak göz önünde bulundurulması gereken bazı sınırlamalar vardır. Karmaşık ve hızlı hareket eden nesnelerde SAM 2 bazen ince ayrıntıları kaçırabilir ve tahminleri kareler arasında kararsız hâle gelebilir. Ayrıca SAM 2, kalabalık sahnelerde görünüşleri birbirine benzeyen birden fazla nesneyi zaman zaman karıştırabilir. Bu zorluklar, otonom sürüş uygulamalarında ek sensörlerin ve teknolojilerin entegrasyonunun neden kritik olduğunu gösterir.

SAM 2 ile çevresel izleme#

Bilgisayarlı görü kullanarak çevresel izleme yapmak, özellikle etiketlenmiş verinin yetersiz olduğu durumlarda zor olabilir; ancak SAM 2'yi ilgi çekici bir uygulama hâline getiren de budur. SAM 2, uydu veya drone görüntülerindeki ormanlar, su kütleleri, kentsel alanlar ve tarım arazileri gibi çeşitli çevresel unsurları doğru biçimde bölütleyip tanımlayarak doğal peyzajlardaki değişiklikleri izlemek ve analiz etmek için kullanılabilir. Özellikle hassas bölütleme, ormansızlaşmanın, kentleşmenin ve arazi kullanımındaki değişikliklerin zaman içinde izlenmesine yardımcı olarak çevrenin korunması ve planlama için değerli veriler sağlar.

Şekil 5. Çevresel izleme için SAM 2 kullanımı.

SAM 2 gibi bir modeli kullanarak çevresel değişiklikleri zaman içinde analiz etmenin bazı faydaları şunlardır:

• Erken tespit: Çevresel bozulmanın ilk belirtilerini belirleyerek daha fazla zararı önlemek için zamanında müdahale edilmesini sağlar.
• Kaynak yönetimi: Çeşitli çevresel unsurların durumuna ilişkin ayrıntılı bilgiler sunarak doğal kaynakların verimli biçimde yönetilmesine yardımcı olur.
• Biyoçeşitliliğin korunması: Yaban hayatının izlenmesine ve biyoçeşitliliğin takip edilmesine yardımcı olarak koruma çalışmalarına ve nesli tükenmekte olan türlerin korunmasına katkıda bulunur.
• Afet müdahalesi: Sel, orman yangını ve kasırga gibi doğal afetlerin etkisini değerlendirmeye yardımcı olarak hızlı ve etkili afet müdahalesi ile iyileştirme planlamasını mümkün kılar.

SAM 2 ile video düzenleme: Kendin dene#

Segment Anything 2 Demo, modeli bir videoda denemek için harika bir yöntemdir. SAM 2'nin PVS yeteneklerini kullanarak eski bir Ultralytics YouTube videosundaki üç nesneyi veya kişiyi bölütleyip pikselleştirebildik. Geleneksel olarak böyle bir videodan üç kişiyi çıkarmak zaman alıcı ve zahmetli olur, kare kare elle maskeleme gerektirirdi. Ancak SAM 2 bu süreci basitleştirir. Demo üzerinde birkaç tıklamayla saniyeler içinde ilgilendiğin üç nesnenin kimliğini koruyabilirsin.

Şekil 6. SAM 2 demosunu deneme.

Demo, izlemek üzere seçtiğin nesnelere spot ışığı tutmak ve izlenen nesneleri silmek gibi farklı görsel efektleri denemene de olanak tanıyor. Demoyu beğendiysen ve SAM 2 ile yenilikler geliştirmeye hazırsan, modeli uygulamalı olarak kullanmaya yönelik ayrıntılı talimatlar için Ultralytics SAM 2 model belgeleri sayfasına göz at. Projelerinde SAM 2'nin potansiyelinden tam olarak yararlanmak için özellikleri, kurulum adımlarını ve örnekleri keşfet. Meta, o zamandan beri metin istemli kavram bölümleme özelliği ekleyen SAM 3'ü yayımladı.

Kapanış#

Meta AI'ın Segment Anything Model 2'si (SAM 2), video ve görüntü bölümlemeyi dönüştürüyor. Nesne izleme gibi görevler iyileştikçe video düzenleme, karma gerçeklik, bilimsel araştırma ve tıbbi görüntüleme alanlarında yeni fırsatlar keşfediyoruz. Karmaşık görevleri kolaylaştırıp etiketleme sürecini hızlandıran SAM 2, yapay zekâ topluluğu için önemli bir araç olmaya aday. SAM 2 gibi modelleri keşfetmeye ve geliştirmeye devam ettikçe farklı alanlarda daha fazla uygulama ve ilerleme görebiliriz.

GitHub depomuzu keşfederek ve topluluğumuza katılarak yapay zekâ hakkında daha fazla bilgi edin. Yapay zekânın üretim ve sağlık alanlarındaki uygulamalarına dair ayrıntılı bilgiler için çözüm sayfalarımıza göz at.