Meta AI'ın Segment Anything Model 2 (SAM 2) uygulamaları

29 Temmuz 2024'te Meta AI, Segment Anything Model'in ikinci sürümü olan SAM 2'yi yayınladı. Yeni model, hem fotoğraflarda hem de videolarda hangi piksellerin hedef nesneye ait olduğunu tam olarak belirleyebilir! İşin en güzel yanı ise modelin, gerçek zamanlı olarak bir nesneyi bir videonun tüm kareleri boyunca tutarlı bir şekilde takip edebilmesi'dir. SAM 2; video düzenleme, karma gerçeklik deneyimleri ve computer vision sistemlerini eğitmek için görsel verilerin daha hızlı etiketlenmesi konularında heyecan verici olasılıkların kapısını aralıyor.

marine science, uydu görüntüleri ve medicine gibi alanlarda kullanılan orijinal SAM'in başarısının üzerine inşa edilen SAM 2; hızlı hareket eden nesneler ve görünüm değişiklikleri gibi zorlukların üstesinden geliyor. Geliştirilmiş doğruluğu ve verimliliği, onu çok çeşitli uygulamalar için çok yönlü bir araç haline getiriyor. Bu makalede, SAM 2'nin nerede uygulanabileceğine ve bunun AI topluluğu için neden önemli olduğuna odaklanacağız.

SAM 2 nedir?#

Segment Anything Model 2, hem resimlerde hem de videolarda promptable visual segmentation yani PVS'yi destekleyen gelişmiş bir temel modeldir. PVS, bir modelin kullanıcının verdiği belirli ipuçlarına veya girdilere dayanarak bir görüntünün veya videonun farklı bölümlerini segment edebildiği veya tanımlayabildiği bir tekniktir. Bu ipuçları, ilgi alanını vurgulayan tıklamalar, kutular veya maskeler biçiminde olabilir. Model daha sonra belirtilen alanı özetleyen bir segmentation mask oluşturur.

SAM 2 mimarisi, görüntü segmentasyonundan video segmentasyonuna da genişleyerek orijinal SAM'in üzerine inşa edilmiştir. Görüntü verilerini ve istemleri kullanarak segmentasyon maskeleri oluşturmak için hafif bir maske kod çözücüsüne sahiptir. Videolar için SAM 2, önceki karelerden gelen bilgileri hatırlamasına yardımcı olan ve zaman içinde doğru takibi sağlayan bir bellek sistemi sunar. Bellek sistemi, bölümlenen nesneler hakkındaki ayrıntıları depolayan ve geri çağıran bileşenleri içerir. SAM 2 ayrıca tıkanmaları (occlusions) yönetebilir, nesneleri birden fazla kare boyunca takip edebilir ve birkaç olası maske oluşturarak belirsiz istemleri yönetebilir. SAM 2'nin gelişmiş mimarisi, onu hem statik hem de dinamik görsel ortamlarda oldukça yetenekli kılar.

Özellikle video segmentasyonu söz konusu olduğunda SAM 2, önceki yöntemlere kıyasla üç kat daha az kullanıcı etkileşimiyle daha yüksek bir doğruluk elde eder. Görüntü segmentasyonu için SAM 2, orijinal Segment Anything Model (SAM)'e kıyasla altı kat daha hızlı ve daha doğrudur. Bu gelişme, SAM'in daha önce test edildiği 23 tanesi dahil olmak üzere 37 farklı veri setinde SAM 2 araştırma makalesinde sergilendi.

Fig 1. SAM ve SAM 2'nin karşılaştırılması.

İlginçtir ki, Meta AI’ın SAM 2'si bugüne kadarki en büyük video segmentasyon dataset'i olan SA-V veri seti oluşturularak geliştirilmiştir. Kapsamlı veri seti 50.000'den fazla video ve 35,5 milyon segmentasyon maskesi içerir ve etkileşimli kullanıcı katkıları yoluyla toplanmıştır. Açıklayıcılar, modelin çok çeşitli senaryolardan ve nesne türlerinden öğrenmesine yardımcı olmak için ipuçları ve düzeltmeler sağladı.

Segment Anything Model 2 Uygulamaları#

Görüntü ve video segmentasyonundaki gelişmiş yetenekleri sayesinde SAM 2, çeşitli endüstrilerde kullanılabilir. Bu uygulamalardan bazılarını inceleyelim.

SAM 2, Artırılmış Gerçeklik (AR) ve Sanal Gerçeklik'i (VR) mümkün kılar#

Meta AI'ın yeni segmentasyon modeli, Artırılmış Gerçeklik (AR) ve Sanal Gerçeklik (VR) uygulamaları için kullanılabilir. Örneğin SAM 2, gerçek dünya nesnelerini doğru bir şekilde tanımlayıp segmentlere ayırabilir ve sanal nesnelerle etkileşimi daha gerçekçi hissettirebilir. Sanal ve gerçek öğeler arasındaki gerçekçi etkileşimin çok önemli olduğu gaming, education ve eğitim gibi çeşitli alanlarda yararlı olabilir.

AR gözlükleri gibi cihazların daha gelişmiş hale gelmesiyle, SAM 2'nin yetenekleri yakında bunlara entegre edilebilir. Gözlüklerinizi taktığınızı ve oturma odanızda etrafınıza baktığınızı hayal edin. Gözlükleriniz köpeğinizin su kabını bölümleyip fark ettiğinde, aşağıdaki resimde gösterildiği gibi onu yeniden doldurmanızı hatırlatabilir. Ya da yeni bir tarifle yemek yapıyorsanız, gözlükler tezgahınızdaki malzemeleri tanımlayabilir ve size adım adım talimatlar ve ipuçları vererek yemek pişirme deneyiminizi iyileştirebilir ve gerekli tüm malzemelerin elinizin altında olduğundan emin olmanızı sağlayabilir.

Fig 2. SAM 2 yakında AR gözlüklerinde kullanılabilir.

Segment Anything Model 2 ile sonar görüntüleme#

SAM modelini kullanan araştırmalar, bunun sonar imaging gibi uzmanlaşmış alanlarda uygulanabileceğini göstermiştir. Sonar görüntüleme, düşük çözünürlüğü, yüksek gürültü seviyeleri ve görüntülerdeki nesnelerin karmaşık şekilleri nedeniyle kendine has zorlukları beraberinde getirir. Araştırmacılar, SAM'i sonar görüntüleri için ince ayar yaparak (fine-tuning) deniz çöpleri, jeolojik oluşumlar ve diğer ilgi çekici öğeler gibi çeşitli su altı nesnelerini doğru bir şekilde segmentlere ayırma yeteneğini kanıtlamışlardır. Kesin ve güvenilir su altı görüntülemesi; deniz araştırmalarında, su altı arkeolojisinde, balıkçılık yönetiminde ve habitat haritalama, eser keşfi ve tehdit tespiti gibi görevler için gözetimde kullanılabilir.

Fig 3. Sonar görüntülerini segmentlere ayırmak için ince ayarlı SAM kullanılmasına bir örnek.

SAM 2, SAM'in karşılaştığı birçok zorluğun üzerine inşa edildiği ve bunları geliştirdiği için sonar görüntüleme analizini daha da ilerletme potansiyeline sahiptir. Hassas segmentasyon yetenekleri, bilimsel araştırma ve balıkçılık dahil olmak üzere çeşitli marine applications'e yardımcı olabilir. Örneğin SAM 2, su altı yapılarını etkili bir şekilde özetleyebilir, deniz çöplerini tespit edebilir ve ileriye dönük sonar görüntülerindeki nesneleri tanımlayarak daha doğru ve verimli su altı keşif ve izlemelerine katkıda bulunabilir.

İşte SAM 2'yi sonar görüntülemeyi analiz etmek için kullanmanın potansiyel faydaları:

• Verimlilik: Manuel segmentasyon için gereken zamanı ve çabayı azaltarak profesyonellerin analize ve karar vermeye daha fazla odaklanmasını sağlar.
• Tutarlılık: Büyük ölçekli deniz araştırmaları ve izleme için gerekli olan tutarlı ve tekrarlanabilir segmentasyon sonuçları sağlar.
• Çok yönlülük: Çok çeşitli sonar görüntülerini işleyebilir, bu da onu denizcilik bilimi ve endüstrisinde çeşitli uygulamalar için kullanışlı hale getirir.

SAM 2'yi sonar görüntüleme süreçlerine entegre ederek, denizcilik endüstrisi su altı keşif ve analizinde daha yüksek verimlilik, doğruluk ve güvenilirlik elde edebilir, bu da nihayetinde deniz araştırmalarında daha iyi sonuçlara yol açar.

Otonom araçlarda SAM 2 kullanımı#

SAM 2'nin bir diğer uygulama alanı ise autonomous vehicles'dir. SAM 2; yayalar, diğer araçlar, yol işaretleri ve engeller gibi nesneleri gerçek zamanlı olarak doğru bir şekilde tanımlayabilir. SAM 2'nin sağlayabildiği ayrıntı düzeyi, safe navigation ve çarpışmadan kaçınma kararları almak için çok önemlidir. Görsel verileri hassas bir şekilde işleyen SAM 2, ortamın ayrıntılı ve güvenilir bir haritasını oluşturmaya yardımcı olur ve daha iyi karar alınmasını sağlar.

Şekil 4. Trafiği anlamak için segmentasyon kullanımı.

SAM 2'nin farklı aydınlatma koşullarında, hava değişikliklerinde ve dinamik ortamlarda iyi çalışma yeteneği, onu otonom araçlar için güvenilir kılar. İster yoğun bir şehir caddesi ister sisli bir otoyol olsun, SAM 2, aracın çeşitli durumlara doğru bir şekilde yanıt verebilmesi için nesneleri tutarlı bir şekilde tanımlayabilir ve segmentleyebilir.

Ancak, akılda tutulması gereken bazı sınırlamalar vardır. Karmaşık, hızlı hareket eden nesneler için SAM 2 bazen ince ayrıntıları kaçırabilir ve tahminleri kareler arasında istikrarsız hale gelebilir. Ayrıca, SAM 2 bazen kalabalık sahnelerde birbirine benzeyen birden fazla nesneyi karıştırabilir. Bu zorluklar, otonom sürüş uygulamalarında ek sensörlerin ve teknolojilerin entegrasyonunun neden çok önemli olduğunu açıklamaktadır.

SAM 2 yardımıyla çevresel izleme#

Computer vision kullanarak çevresel izleme zor olabilir, özellikle de etiketlenmiş veri eksikliği olduğunda, ancak SAM 2 için burayı ilginç bir uygulama yapan da tam olarak budur. SAM 2; uydu veya dron görüntüverilerinden ormanlar, su kütleleri, kentsel alanlar ve agricultural araziler gibi çeşitli çevresel özellikleri doğru bir şekilde segmentlere ayırıp tanımlayarak doğal manzaralardaki değişiklikleri takip etmek ve analiz etmek için kullanılabilir. Özellikle hassas segmentasyon; environmental conservation ve planlama için değerli veriler sağlamak amacıyla deforestation, kentleşme ve arazi kullanımındaki değişikliklerin zaman içinde izlenmesine yardımcı olur.

İşte çevresel değişiklikleri zaman içinde analiz etmek için SAM 2 gibi bir model kullanmanın faydalarından bazıları:

• Erken Tespit: Çevresel bozulmanın erken belirtilerini tanımlar, böylece daha fazla hasarı önlemek için zamanında müdahalelere olanak tanır.
• Kaynak yönetimi: Çeşitli çevresel özelliklerin durumu hakkında ayrıntılı bilgiler sağlayarak doğal kaynakları verimli bir şekilde yönetmeye yardımcı olur.
• Biyoçeşitlilik koruma: Yaban hayatını izlemeye ve biyoçeşitliliği takip etmeye yardımcı olur, koruma çalışmalarına ve nesli tükenmekte olan türlerin korunmasına katkıda bulunur.
• Afet müdahalesi: Sel, orman yangını ve kasırga gibi doğal afetlerin etkisini değerlendirmeye yardımcı olur, hızlı ve etkili afet müdahalesi ve iyileştirme planlamasını sağlar.

SAM 2 ile video düzenleme: Kendin dene#

Segment Anything 2 Demo, modeli bir video üzerinde denemek için harika bir yoldur. SAM 2'nin PVS yeteneklerini kullanarak eski bir Ultralytics YouTube video'sini ele aldık ve videodaki üç nesneyi veya kişiyi segmentlere ayırarak pikselleştirmeyi başardık. Geleneksel olarak, üç kişiyi böyle bir videodan düzenlemek zaman alıcı ve zahmetli olur ve manuel kare kare maskeleme gerektirirdi. Ancak SAM 2 bu süreci basitleştirir. Demodaki birkaç tıklamayla, ilgi çekici üç nesnenin kimliğini saniyeler içinde koruyabilirsin.

Şekil 6. SAM 2 Demosunu deneme.

Demo ayrıca, izlenmesi için seçtiğin nesnelere bir ışık tutmak (spotlight) ve izlenen nesneleri silmek gibi birkaç farklı görsel efekti denemene de olanak tanır. Demoyu beğendiysen ve SAM 2 ile yenilikler yapmaya hazırsan, modelle pratik yapmaya yönelik ayrıntılı talimatlar için Ultralytics SAM 2 model docs page'ne göz at. Projelerinde SAM 2'nin potansiyelinden tam olarak yararlanmak için özellikleri, kurulum adımlarını ve örnekleri keşfet!

Toparlarken#

Meta AI'ın Segment Anything Model 2'si (SAM 2), video ve görüntü segmentasyonunu dönüştürüyor. Nesne takibi gibi görevler geliştikçe, video düzenleme, karma gerçeklik, bilimsel araştırma ve tıbbi görüntülemede yeni fırsatlar keşfediyoruz. Karmaşık görevleri kolaylaştırarak ve etiketlemeyi hızlandırarak SAM 2, yapay zeka topluluğu için önemli bir araç olmaya hazırlanıyor. SAM 2 gibi modellerle keşfetmeye ve yenilik yapmaya devam ettikçe, çeşitli alanlarda daha da çığır açan uygulamalar ve ilerlemeler bekleyebiliriz!

GitHub repository'mizi keşfederek ve our community'ye katılarak AI hakkında daha fazla bilgi edin. manufacturing ve healthcare sektörlerinde AI hakkında ayrıntılı bilgiler için çözümler sayfalarımıza göz at. 🚀