Meta AI'ın Segment Anything Model 2'sinin (SAM 2) uygulamaları
Meta AI'ın Segment Anything Model 2'sine (SAM 2) birlikte derinlemesine bakalım ve bunun çeşitli sektörlerde hangi gerçek zamanlı uygulamalarda kullanılabileceğini anlayalım.
29 Temmuz 2024'te Meta AI, Her Şeyi Segmentleme Modeli'nin ikinci sürümü olan SAM 2'yi yayımladı. Yeni model, hem görüntülerde hem de videolarda hangi piksellerin hedef nesneye ait olduğunu belirleyebiliyor! En iyi yanı ise modelin gerçek zamanlı olarak bir nesneyi videonun tüm karelerinde takip edebilmesi. SAM 2, video düzenleme, karma gerçeklik deneyimleri ve [bilgisayarlı görü](https://ultralytics-translation-4.invalid sistemlerini eğitmek için görsel verilerin daha hızlı etiketlenmesi] için heyecan verici olanaklar sunuyor.
Deniz bilimi, uydu görüntüleri ve tıp gibi alanlarda kullanılan orijinal SAM'in başarısı üzerine inşa edilen SAM 2, hızlı hareket eden nesneler ve görünüm değişiklikleri gibi zorlukların üstesinden geliyor. Geliştirilmiş doğruluğu ve verimliliği, onu çok çeşitli uygulamalar için esnek bir araç hâline getiriyor. Bu makalede, SAM 2'nin hangi alanlarda uygulanabileceğine ve bunun yapay zekâ topluluğu için neden önemli olduğuna odaklanacağız.
SAM 2 nedir?#
Her Şeyi Segmentleme Modeli 2, hem görüntülerde hem de videolarda istemle yönlendirilebilir görsel segmentasyonu veya PVS'yi destekleyen gelişmiş bir temel modeldir. PVS, bir modelin kullanıcı tarafından verilen belirli istemlere veya girdilere göre bir görüntünün ya da videonun farklı bölümlerini segmente edebildiği veya tanımlayabildiği bir tekniktir. Bu istemler, ilgi alanını vurgulayan tıklamalar, kutular veya maskeler biçiminde olabilir. Model daha sonra belirtilen alanın sınırlarını gösteren bir segmentasyon maskesi oluşturur.
SAM 2 mimarisi, görüntü segmentasyonunu video segmentasyonunu da kapsayacak şekilde genişleterek orijinal SAM'in üzerine inşa edilir. Segmentasyon maskeleri oluşturmak için görüntü verilerini ve istemleri kullanan hafif bir maske kod çözücüye sahiptir. Videolar için SAM 2, önceki karelerdeki bilgileri hatırlamasına yardımcı olan ve zaman içinde doğru takibi sağlayan bir bellek sistemi sunar. Bellek sistemi, segmente edilen nesnelerle ilgili ayrıntıları depolayan ve geri çağıran bileşenler içerir. SAM 2 ayrıca örtülmeleri yönetebilir, nesneleri birden fazla kare boyunca takip edebilir ve çeşitli olası maskeler oluşturarak belirsiz istemleri ele alabilir. SAM 2'nin gelişmiş mimarisi, onu hem statik hem de dinamik görsel ortamlarda son derece yetkin kılar.
Özellikle video segmentasyonu açısından SAM 2, önceki yöntemlere kıyasla üç kat daha az kullanıcı etkileşimiyle daha yüksek doğruluk elde ediyor. Görüntü segmentasyonunda SAM 2, orijinal Her Şeyi Segmentleme Modeli'nden (SAM) daha iyi performans göstererek altı kat daha hızlı ve daha doğru sonuçlar veriyor. Bu iyileştirme, SAM'in daha önce test edildiği 23 veri kümesi de dâhil olmak üzere 37 farklı veri kümesi üzerinde SAM 2 araştırma makalesinde gösterildi.
Şekil 1. SAM ve SAM 2'nin karşılaştırılması.
İlginç olarak Meta AI'nin SAM 2'si, bugüne kadarki en büyük video segmentasyon veri kümesi olan SA-V veri kümesi oluşturularak geliştirildi. Kapsamlı veri kümesi, 50.000'den fazla video ve 35,5 milyon segmentasyon maskesi içeriyor ve etkileşimli kullanıcı katkıları yoluyla toplandı. Etiketleyiciler, modelin çok çeşitli senaryolardan ve nesne türlerinden öğrenmesine yardımcı olmak için istemler ve düzeltmeler sağladı.
Her Şeyi Segmentleme Modeli 2'nin uygulamaları#
Görüntü ve video segmentasyonundaki gelişmiş yetenekleri sayesinde SAM 2, çeşitli sektörlerde kullanılabilir. Bu uygulamalardan bazılarını inceleyelim.
SAM 2, Artırılmış Gerçeklik (AR) ve Sanal Gerçekliği (VR) mümkün kılıyor#
Meta AI'nin yeni segmentasyon modeli, Artırılmış Gerçeklik (AR) ve Sanal Gerçeklik (VR) uygulamalarında kullanılabilir. Örneğin SAM 2, gerçek dünyadaki nesneleri doğru şekilde tanımlayıp segmente edebilir ve sanal nesnelerle etkileşimi daha gerçekçi hissettirebilir. Sanal ve gerçek ögeler arasındaki gerçekçi etkileşimin önemli olduğu oyun, eğitim ve öğretim gibi çeşitli alanlarda yararlı olabilir.
AR gözlükleri gibi cihazlar daha gelişmiş hâle geldikçe SAM 2'nin yetenekleri yakında bu cihazlara entegre edilebilir. Gözlükleri takıp oturma odanda etrafına baktığını düşün. Gözlüklerin köpeğinin su kabını segmente edip algıladığında, aşağıdaki görselde gösterildiği gibi sana kabı doldurmanı hatırlatabilir. Ya da yeni bir tarif pişiriyorsan gözlükler tezgâhındaki malzemeleri tanımlayıp adım adım talimatlar ve ipuçları sunabilir; böylece yemek pişirme deneyimini iyileştirirken ihtiyaç duyduğun tüm malzemelerin elinin altında olmasını sağlayabilir.
Şekil 2. SAM 2 yakında AR gözlüklerinde kullanılabilir.
Her Şeyi Segmentleme Modeli 2 ile sonar görüntüleme#
SAM modeliyle yapılan araştırmalar, modelin sonar görüntüleme gibi uzmanlık gerektiren alanlarda uygulanabileceğini gösterdi. Sonar görüntüleme; düşük çözünürlük, yüksek gürültü seviyeleri ve görüntülerdeki nesnelerin karmaşık şekilleri nedeniyle kendine özgü zorluklar barındırır. Araştırmacılar, SAM'i sonar görüntüleri için ince ayarlayarak deniz çöpleri, jeolojik oluşumlar ve diğer ilgi çekici nesneler gibi çeşitli su altı nesnelerini doğru şekilde segmente edebildiğini gösterdi. Hassas ve güvenilir su altı görüntüleme; yaşam alanı haritalama, eser keşfi ve tehdit tespiti gibi görevler için deniz araştırmalarında, su altı arkeolojisinde, balıkçılık yönetiminde ve gözetimde kullanılabilir.
Şekil 3. Sonar görüntülerini segmente etmek için ince ayarlanmış SAM kullanımına bir örnek.
SAM 2, SAM'in karşılaştığı birçok zorluğun üzerine inşa edildiği ve bunları iyileştirdiği için sonar görüntülemenin analizini daha da geliştirme potansiyeline sahiptir. Hassas segmentasyon yetenekleri, bilimsel araştırmalar ve balıkçılık dâhil çeşitli denizcilik uygulamalarına yardımcı olabilir. Örneğin SAM 2, su altı yapılarını etkili bir şekilde ana hatlarıyla belirleyebilir, deniz çöplerini tespit edebilir ve önden görüşlü sonar görüntülerindeki nesneleri tanımlayabilir; böylece daha doğru ve verimli su altı keşfi ile izlemeye katkıda bulunur.
Sonar görüntülemeyi analiz etmek için SAM 2 kullanmanın olası faydaları şunlardır:
- Verimlilik: Manuel segmentasyon için gereken zamanı ve çabayı azaltarak profesyonellerin analiz ve karar alma süreçlerine daha fazla odaklanmasını sağlar.
- Tutarlılık: Büyük ölçekli deniz araştırmaları ve izleme için gerekli olan tutarlı ve tekrarlanabilir segmentasyon sonuçları sunar.
- Çok yönlülük: Geniş bir sonar görüntüsü yelpazesini işleyebilir; bu da onu deniz bilimi ve endüstrisindeki çeşitli uygulamalar için kullanışlı kılar.
SAM 2'yi sonar görüntüleme süreçlerine entegre ederek denizcilik sektörü, su altı keşfi ve analizinde daha yüksek verimlilik, doğruluk ve güvenilirlik elde edebilir; bu da nihayetinde deniz araştırmalarında daha iyi sonuçlara yol açar.
Otonom araçlarda SAM 2 kullanımı#
SAM 2'nin bir diğer uygulaması otonom araçlardır. SAM 2, yayalar, diğer araçlar, trafik işaretleri ve engeller gibi nesneleri gerçek zamanlı olarak doğru şekilde tanımlayabilir. SAM 2'nin sağlayabildiği ayrıntı düzeyi, güvenli navigasyon ve çarpışmadan kaçınma kararları almak için çok önemlidir. Görsel verileri hassas biçimde işleyerek SAM 2, ortamın ayrıntılı ve güvenilir bir haritasının oluşturulmasına yardımcı olur ve daha iyi karar almayı sağlar.
Şekil 4. Trafiği anlamak için segmentasyon kullanımı.
SAM 2'nin farklı aydınlatma koşullarında, hava değişikliklerinde ve dinamik ortamlarda iyi çalışabilmesi, onu otonom araçlar için güvenilir kılar. İster yoğun bir şehir caddesi ister sisli bir otoyol olsun, SAM 2 nesneleri sürekli olarak doğru biçimde tanımlayıp segmente edebilir ve aracın çeşitli durumlara doğru tepki vermesini sağlayabilir.
Ancak akılda tutulması gereken bazı sınırlamalar vardır. Karmaşık ve hızlı hareket eden nesnelerde SAM 2 bazen ince ayrıntıları kaçırabilir ve tahminleri kareler arasında kararsız hâle gelebilir. Ayrıca SAM 2, kalabalık sahnelerde birbirine benzeyen birden fazla nesneyi bazen karıştırabilir. Bu zorluklar, otonom sürüş uygulamalarında ek sensörlerin ve teknolojilerin entegrasyonunun neden kritik olduğunu gösterir.
SAM 2 yardımıyla çevresel izleme#
Bilgisayarlı görü kullanarak çevresel izleme yapmak, özellikle etiketlenmiş verilerin yetersiz olduğu durumlarda zor olabilir; ancak SAM 2 için bunu ilginç bir uygulama hâline getiren de budur. SAM 2, uydu veya drone görüntülerinden ormanlar, su kütleleri, kentsel alanlar ve tarım arazileri gibi çeşitli çevresel özellikleri doğru şekilde segmente edip tanımlayarak doğal peyzajlardaki değişiklikleri izlemek ve analiz etmek için kullanılabilir. Özellikle hassas segmentasyon, zaman içinde ormansızlaşmanın, kentleşmenin ve arazi kullanımındaki değişikliklerin izlenmesine yardımcı olarak çevrenin korunması ve planlama için değerli veriler sağlar.
Çevresel değişiklikleri zaman içinde analiz etmek için SAM 2 gibi bir model kullanmanın bazı faydaları şunlardır:
- Erken tespit: Çevresel bozulmanın erken belirtilerini belirleyerek daha fazla zararı önlemek için zamanında müdahaleye olanak tanır.
- Kaynak yönetimi: Çeşitli çevresel özelliklerin durumu hakkında ayrıntılı bilgiler sunarak doğal kaynakların verimli şekilde yönetilmesine yardımcı olur.
- Biyoçeşitliliğin korunması: Yaban hayatının izlenmesine ve biyoçeşitliliğin takip edilmesine yardımcı olarak koruma çalışmalarına ve nesli tehlike altındaki türlerin korunmasına katkıda bulunur.
- Afet müdahalesi: Sel, orman yangını ve kasırga gibi doğal afetlerin etkisini değerlendirmeye yardımcı olur; hızlı ve etkili afet müdahalesi ile iyileştirme planlamasına olanak tanır.
SAM 2 ile video düzenleme: Sen de dene#
Her Şeyi Segmentleme 2 Demosu, modeli bir video üzerinde denemek için harika bir yoldur. SAM 2'nin PVS yeteneklerini kullanarak eski bir Ultralytics YouTube videosunu ele aldık ve videodaki üç nesneyi veya kişiyi segmente edip pikselleştirebildik. Geleneksel olarak böyle bir videodan üç kişiyi çıkarmak zaman alıcı ve zahmetli olur, kare kare manuel maskeleme gerektirirdi. Ancak SAM 2 bu süreci basitleştiriyor. Demoda birkaç tıklamayla üç ilgi nesnesinin kimliğini birkaç saniye içinde koruyabilirsin.
Şekil 6. SAM 2 Demosunu denemek.
Demo ayrıca takip için seçtiğin nesneleri spot ışığıyla vurgulamak ve takip edilen nesneleri silmek gibi birkaç farklı görsel efekti denemene olanak tanır. Demoyu beğendiysen ve SAM 2 ile yenilik yapmaya hazırsan modelle uygulamalı çalışmaya ilişkin ayrıntılı talimatlar için Ultralytics SAM 2 model belgeleri sayfasına göz at. Projelerinde SAM 2'nin potansiyelinden tam anlamıyla yararlanmak için özellikleri, kurulum adımlarını ve örnekleri keşfet!
Sonuç#
Meta AI'nin Her Şeyi Segmentleme Modeli 2'si (SAM 2), video ve görüntü segmentasyonunu dönüştürüyor. Nesne takibi gibi görevler geliştikçe video düzenleme, karma gerçeklik, bilimsel araştırma ve tıbbi görüntüleme alanlarında yeni fırsatlar keşfediyoruz. Karmaşık görevleri kolaylaştırıp etiketlemeleri hızlandıran SAM 2, yapay zekâ topluluğu için önemli bir araç olmaya hazırlanıyor. SAM 2 gibi modelleri keşfetmeye ve geliştirmeye devam ederken çeşitli alanlarda daha da çığır açıcı uygulamalar ve ilerlemeler bekleyebiliriz!
GitHub depomuzu keşfederek ve topluluğumuza katılarak yapay zekâ hakkında daha fazla bilgi edin. Yapay zekânın üretim ve sağlık alanlarındaki kullanımına ilişkin ayrıntılı bilgiler için çözüm sayfalarımıza göz at. 🚀
