Meta AI'ın Segment Anything Model 2 (SAM 2) uygulamaları

29 Temmuz 2024'te Meta AI, Segment Anything Model'lerinin ikinci sürümü olan SAM 2'yi yayınladı. Yeni model, hem görüntülerde hem de videolarda hangi piksellerin hedef nesneye ait olduğunu tam olarak belirleyebiliyor! En güzel tarafı ise modelin bir nesneyi bir videonun tüm kareleri boyunca takip etme yeteneğine gerçek zamanlı olarak sahip olması. SAM 2; video düzenleme, karma gerçeklik deneyimleri ve bilgisayarlı görü sistemlerini eğitmek için görsel verilerin daha hızlı etiketlenmesi gibi heyecan verici olasılıkların kapısını aralıyor.

Denizcilik bilimi, uydu görüntüleri ve tıp gibi alanlarda kullanılan orijinal SAM'in başarısının üzerine inşa edilen SAM 2, hızlı hareket eden nesneler ve görünüm değişiklikleri gibi zorlukların üstesinden geliyor. Geliştirilmiş doğruluk ve verimliliği, onu çok çeşitli uygulamalar için çok yönlü bir araç haline getiriyor. Bu makalede, SAM 2'nin nerelerde uygulanabileceğine ve yapay zeka topluluğu için neden önemli olduğuna odaklanacağız.

Link to this sectionSAM 2 nedir?#

Segment Anything Model 2, hem görüntülerde hem de videolarda promptable visual segmentation veya PVS'yi destekleyen gelişmiş bir temel modeldir. PVS, bir modelin kullanıcı tarafından verilen belirli istemlere veya girdilere dayalı olarak bir görüntünün veya videonun farklı kısımlarını segment edebildiği veya tanımlayabildiği bir tekniktir. Bu istemler, ilgi alanını vurgulayan tıklamalar, kutular veya maskeler şeklinde olabilir. Model daha sonra belirtilen alanı ana hatlarıyla belirten bir segmentation mask oluşturur.

SAM 2 mimarisi, görüntü segmentasyonundan video segmentasyonuna da genişleyerek orijinal SAM'in üzerine inşa edilmiştir. Görüntü verilerini ve istemleri kullanarak segmentasyon maskeleri oluşturmak için hafif bir maske kod çözücüsüne sahiptir. Videolar için SAM 2, önceki karelerden gelen bilgileri hatırlamasına yardımcı olan ve zaman içinde doğru takibi sağlayan bir bellek sistemi sunar. Bellek sistemi, bölümlenen nesneler hakkındaki ayrıntıları depolayan ve geri çağıran bileşenleri içerir. SAM 2 ayrıca tıkanmaları (occlusions) yönetebilir, nesneleri birden fazla kare boyunca takip edebilir ve birkaç olası maske oluşturarak belirsiz istemleri yönetebilir. SAM 2'nin gelişmiş mimarisi, onu hem statik hem de dinamik görsel ortamlarda oldukça yetenekli kılar.

Özellikle video segmentasyonu konusunda SAM 2, önceki yöntemlere kıyasla üç kat daha az kullanıcı etkileşimi ile daha yüksek bir doğruluk elde eder. Görüntü segmentasyonu için SAM 2, orijinal Segment Anything Model (SAM)'den altı kat daha hızlı ve daha doğru çalışarak ondan daha üstün bir performans sergiler. Bu iyileştirme, SAM 2 araştırma makalesinde, SAM'in daha önce test edildiği 23 tanesi de dahil olmak üzere 37 farklı veri kümesi üzerinde sergilenmiştir.

Şekil 1. SAM ve SAM 2 karşılaştırması.

İlginç bir şekilde, Meta AI'ın SAM 2'si, bugüne kadarki en büyük video segmentasyon veri kümesi olan SA-V veri kümesi oluşturularak geliştirilmiştir. Kapsamlı veri kümesi, 50.000'den fazla video ve 35,5 milyon segmentasyon maskesi içerir ve etkileşimli kullanıcı katkılarıyla toplanmıştır. Etiketleyiciler, modelin çok çeşitli senaryolardan ve nesne türlerinden öğrenmesine yardımcı olmak için istemler ve düzeltmeler sağlamıştır.

Link to this sectionSegment Anything Model 2 Uygulamaları#

Görüntü ve video segmentasyonundaki gelişmiş yetenekleri sayesinde SAM 2, çeşitli endüstrilerde kullanılabilir. Bu uygulamalardan bazılarını inceleyelim.

Link to this sectionSAM 2, Artırılmış Gerçeklik (AR) ve Sanal Gerçeklik'i (VR) mümkün kılar#

Meta AI'ın yeni segmentasyon modeli, Artırılmış Gerçeklik (AR) ve Sanal Gerçeklik (VR) uygulamaları için kullanılabilir. Örneğin SAM 2, gerçek dünyadaki nesneleri doğru bir şekilde tanımlayıp bölümleyebilir ve sanal nesnelerle etkileşimi daha gerçekçi hissettirebilir. Sanal ve gerçek unsurlar arasındaki gerçekçi etkileşimin şart olduğu oyun, eğitim ve öğretim gibi çeşitli alanlarda faydalı olabilir.

AR gözlükleri gibi cihazların daha gelişmiş hale gelmesiyle, SAM 2'nin yetenekleri yakında bunlara entegre edilebilir. Gözlüklerinizi taktığınızı ve oturma odanızda etrafınıza baktığınızı hayal edin. Gözlükleriniz köpeğinizin su kabını bölümleyip fark ettiğinde, aşağıdaki resimde gösterildiği gibi onu yeniden doldurmanızı hatırlatabilir. Ya da yeni bir tarifle yemek yapıyorsanız, gözlükler tezgahınızdaki malzemeleri tanımlayabilir ve size adım adım talimatlar ve ipuçları vererek yemek pişirme deneyiminizi iyileştirebilir ve gerekli tüm malzemelerin elinizin altında olduğundan emin olmanızı sağlayabilir.

Şekil 2. SAM 2 yakında AR gözlüklerinde kullanılabilir.

Link to this sectionSegment Anything Model 2 ile sonar görüntüleme#

SAM modelini kullanan araştırmalar, sonar görüntüleme gibi özel alanlarda uygulanabileceğini göstermiştir. Sonar görüntüleme; düşük çözünürlük, yüksek gürültü seviyeleri ve görüntülerdeki nesnelerin karmaşık şekilleri nedeniyle kendine has zorlukları beraberinde getirir. Araştırmacılar, SAM'i sonar görüntüleri için ince ayar yaparak (fine-tuning), deniz çöpü, jeolojik oluşumlar ve diğer ilgi çekici öğeler gibi çeşitli su altı nesnelerini doğru bir şekilde bölümleme yeteneğini kanıtlamışlardır. Hassas ve güvenilir su altı görüntüleme; habitat haritalama, eser keşfi ve tehdit tespiti gibi görevler için deniz araştırmalarında, su altı arkeolojisinde, balıkçılık yönetiminde ve gözetimde kullanılabilir.

Şekil 3. Sonar görüntülerinin segmentasyonu için ince ayarlı SAM kullanılmasına bir örnek.

SAM 2, SAM'in karşılaştığı birçok zorluğun üzerine inşa edildiği ve bunları geliştirdiği için, sonar görüntüleme analizini daha da ileriye taşıma potansiyeline sahiptir. Hassas segmentasyon yetenekleri, bilimsel araştırmalar ve balıkçılık dahil olmak üzere çeşitli denizcilik uygulamalarında yardımcı olabilir. Örneğin SAM 2, su altı yapılarını etkili bir şekilde ana hatlarıyla belirleyebilir, deniz çöplerini tespit edebilir ve ileriye dönük sonar görüntülerindeki nesneleri tanımlayabilir, bu da daha doğru ve verimli su altı keşif ve izlemeye katkıda bulunur.

İşte SAM 2'yi sonar görüntülemeyi analiz etmek için kullanmanın potansiyel faydaları:

• Verimlilik: Manuel segmentasyon için gereken zamanı ve çabayı azaltarak profesyonellerin analize ve karar vermeye daha fazla odaklanmasını sağlar.
• Tutarlılık: Büyük ölçekli deniz araştırmaları ve izleme için gerekli olan tutarlı ve tekrarlanabilir segmentasyon sonuçları sağlar.
• Çok yönlülük: Çok çeşitli sonar görüntülerini işleyebilir, bu da onu denizcilik bilimi ve endüstrisinde çeşitli uygulamalar için kullanışlı hale getirir.

SAM 2'yi sonar görüntüleme süreçlerine entegre ederek, denizcilik endüstrisi su altı keşif ve analizinde daha yüksek verimlilik, doğruluk ve güvenilirlik elde edebilir, bu da nihayetinde deniz araştırmalarında daha iyi sonuçlara yol açar.

Link to this sectionOtonom araçlarda SAM 2 kullanımı#

SAM 2'nin bir diğer uygulaması da otonom araçlardır. SAM 2, yayalar, diğer araçlar, yol işaretleri ve engeller gibi nesneleri gerçek zamanlı olarak doğru bir şekilde tanımlayabilir. SAM 2'nin sağlayabileceği ayrıntı düzeyi, güvenli navigasyon ve çarpışmadan kaçınma kararları almak için çok önemlidir. Görsel verileri hassas bir şekilde işleyerek, SAM 2 çevrenin ayrıntılı ve güvenilir bir haritasının oluşturulmasına yardımcı olur ve daha iyi karar almaya öncülük eder.

Şekil 4. Trafiği anlamak için segmentasyon kullanımı.

SAM 2'nin farklı aydınlatma koşullarında, hava değişikliklerinde ve dinamik ortamlarda iyi çalışma yeteneği, onu otonom araçlar için güvenilir kılar. İster yoğun bir şehir caddesi ister sisli bir otoyol olsun, SAM 2, aracın çeşitli durumlara doğru bir şekilde yanıt verebilmesi için nesneleri tutarlı bir şekilde tanımlayabilir ve segmentleyebilir.

Ancak, akılda tutulması gereken bazı sınırlamalar vardır. Karmaşık, hızlı hareket eden nesneler için SAM 2 bazen ince ayrıntıları kaçırabilir ve tahminleri kareler arasında istikrarsız hale gelebilir. Ayrıca, SAM 2 bazen kalabalık sahnelerde birbirine benzeyen birden fazla nesneyi karıştırabilir. Bu zorluklar, otonom sürüş uygulamalarında ek sensörlerin ve teknolojilerin entegrasyonunun neden çok önemli olduğunu açıklamaktadır.

Link to this sectionSAM 2 yardımıyla çevresel izleme#

Environmental monitoring using computer vision can be tricky, especially when there's a lack of annotated data, but that's also what makes it an interesting application for SAM 2. SAM 2 can be used to track and analyze changes in natural landscapes by accurately segmenting and identifying various environmental features such as forests, water bodies, urban areas, and agricultural lands from satellite or drone images. Specifically, precise segmentation helps in monitoring deforestation, urbanization, and changes in land use over time to provide valuable data for environmental conservation and planning.

İşte çevresel değişiklikleri zaman içinde analiz etmek için SAM 2 gibi bir model kullanmanın faydalarından bazıları:

• Erken Tespit: Çevresel bozulmanın erken belirtilerini tanımlar, böylece daha fazla hasarı önlemek için zamanında müdahalelere olanak tanır.
• Kaynak yönetimi: Çeşitli çevresel özelliklerin durumu hakkında ayrıntılı bilgiler sağlayarak doğal kaynakları verimli bir şekilde yönetmeye yardımcı olur.
• Biyoçeşitlilik koruma: Yaban hayatını izlemeye ve biyoçeşitliliği takip etmeye yardımcı olur, koruma çalışmalarına ve nesli tükenmekte olan türlerin korunmasına katkıda bulunur.
• Afet müdahalesi: Sel, orman yangını ve kasırga gibi doğal afetlerin etkisini değerlendirmeye yardımcı olur, hızlı ve etkili afet müdahalesi ve iyileştirme planlamasını sağlar.

Link to this sectionSAM 2 ile video düzenleme: Kendin dene#

Segment Anything 2 Demosu, modeli bir video üzerinde denemek için harika bir yoldur. SAM 2'nin PVS yeteneklerini kullanarak, eski bir Ultralytics YouTube videosunu aldık ve videodaki üç nesneyi veya kişiyi bölümleyip piksellendirmeyi başardık. Geleneksel olarak, üç kişiyi böyle bir videodan düzenleyip çıkarmak zaman alıcı ve sıkıcı olacak ve manuel kare kare maskeleme gerektirecekti. Ancak SAM 2 bu süreci basitleştirir. Demodaki birkaç tıklama ile, ilgilendiğiniz üç nesnenin kimliğini saniyeler içinde koruyabilirsiniz.

Şekil 6. SAM 2 Demosunu deneme.

Demo ayrıca, izleme için seçtiğiniz nesnelere spot ışığı tutmak ve izlenen nesneleri silmek gibi birkaç farklı görsel efekti denemenize olanak tanır. Demoyu beğendiyseniz ve SAM 2 ile yenilik yapmaya başlamaya hazırsanız, modelle uygulamalı çalışmaya başlamak için ayrıntılı talimatlar içeren Ultralytics SAM 2 model dokümanları sayfasına göz atın. SAM 2'nin projelerinizdeki potansiyelinden tam olarak yararlanmak için özellikleri, kurulum adımlarını ve örnekleri keşfedin!

Link to this sectionToparlarken#

Meta AI'ın Segment Anything Model 2'si (SAM 2), video ve görüntü segmentasyonunu dönüştürüyor. Nesne takibi gibi görevler geliştikçe, video düzenleme, karma gerçeklik, bilimsel araştırma ve tıbbi görüntülemede yeni fırsatlar keşfediyoruz. Karmaşık görevleri kolaylaştırarak ve etiketlemeyi hızlandırarak SAM 2, yapay zeka topluluğu için önemli bir araç olmaya hazırlanıyor. SAM 2 gibi modellerle keşfetmeye ve yenilik yapmaya devam ettikçe, çeşitli alanlarda daha da çığır açan uygulamalar ve ilerlemeler bekleyebiliriz!

GitHub depomuzu keşfederek ve topluluğumuza katılarak yapay zeka hakkında daha fazla bilgi edinin. Üretim ve sağlık hizmetlerinde yapay zeka hakkında ayrıntılı bilgiler için çözüm sayfalarımıza göz atın. 🚀