SAM 3'ü keşfet: Meta AI'ın yeni Her Şeyi Bölütleme Modeli

19 Kasım 2025'te Meta AI, Segment Anything Model 3 adlı modeli, yani SAM 3'ü yayımladı. Segment Anything Model'in bu yeni sürümü, metin istemleri, görsel istemler ve görsel örnekler kullanarak gerçek dünya görüntüleri ve videolarındaki nesneleri algılamak, bölütlemek ve izlemek için yeni yöntemler sunuyor.

SAM 3 modeli SAM ve SAM 2 üzerine inşa edildi ve kavram bölütleme, açık kelime dağarcıklı algılama ve gerçek zamanlı video takibi gibi yeni gelişmeler ve özellikler sunuyor. Kısa isim tamlamalarını anlayabiliyor, nesneleri kareler boyunca takip edebiliyor ve önceki modellerin tutarlı biçimde ele almakta zorlandığı ince ayrıntılı veya nadir kavramları tanımlayabiliyor.

SAM 3'ün yayımlanmasının bir parçası olarak Meta, SAM 3D'yi de tanıttı. Bu yeni nesil model paketi, tek bir görüntüden nesneleri, sahneleri ve tüm insan bedenlerini yeniden oluşturuyor ve Segment Anything ekosistemini 3D anlayışına taşıyor. Bu eklemeler bilgisayarlı görü, robotik, medya düzenleme ve yaratıcı iş akışlarında yeni uygulamaların önünü açıyor.

Bu makalede SAM 3'ün ne olduğunu, SAM 2'den farklarını, modelin nasıl çalıştığını ve gerçek dünyadaki uygulamalarını ele alacağız.

SAM 3 nedir? Meta'nın Segment Anything Model 3'üne bir bakış#

SAM 3, basit talimatlara dayanarak görüntülerdeki ve videolardaki nesneleri tanımlayabilen, ayırabilen ve izleyebilen, bilgisayarlı görü alanında son teknoloji bir modeldir. Sabit bir etiket listesine bağlı kalmak yerine doğal dili ve görsel ipuçlarını anlayan SAM 3'e, bulmasını istediğin şeyi kolayca söyleyebilirsin.

Örneğin SAM 3 ile "sarı okul otobüsü" veya "çizgili bir kedi" gibi kısa bir ifade yazabilir, bir nesneye tıklayabilir ya da görüntüdeki bir örneği vurgulayabilirsin. Model daha sonra eşleşen her nesneyi algılar ve nesneye ait pikselleri tam olarak gösteren görsel bir kontur olan temiz segmentasyon maskeleri oluşturur. SAM 3, bu nesneleri video kareleri boyunca da izleyerek hareket ederken tutarlı biçimde takip edebilir.

SAM 3D, tek görüntüden 3D yeniden yapılandırmayı mümkün kılıyor#

Meta AI'ın duyurusunun bir diğer heyecan verici bölümü, Segment Anything projesini 3D anlayışına taşıyan SAM 3D. SAM 3D, tek bir 2D görüntüyü alıp bir nesnenin veya insan bedeninin şeklini, duruşunu ya da yapısını üç boyutlu olarak yeniden oluşturabiliyor. Başka bir deyişle model, yalnızca tek bir bakış açısı mevcut olsa bile bir şeyin uzayda nasıl yer kapladığını tahmin edebiliyor.

SAM 3D, iki ayrı model olarak yayımlandı: Geometri ve doku bilgileriyle günlük nesneleri yeniden oluşturan SAM 3D Objects ve tek bir görüntüden insan bedeninin şeklini ve duruşunu tahmin eden SAM 3D Body. Her iki model de SAM 3'ün segmentasyon çıktısını kullanıyor ve ardından orijinal fotoğraftaki nesnenin görünümüyle ve konumuyla örtüşen bir 3D gösterim oluşturuyor.

Şekil 1. SAM 3D kullanımı örneği. (Kaynak: Meta AI'ın Segment Anything oyun alanı kullanılarak oluşturuldu)

SAM 3: Algılama, segmentasyon ve izlemeyi bir araya getiren yeni özellikler#

SAM 3'ün algılama, segmentasyon ve izlemeyi tek bir modelde bir araya getirmek için sunduğu temel yeniliklerden bazıları şunlar:

• Kavram segmentasyonu görevleri: SAM ve SAM 2'de nesne segmentasyonu, tıklama veya kutu gibi görsel istemlere bağlıydı. SAM 3, nesneleri kısa bir metin ifadesine veya görüntüden alınan bir örnek kırpmaya göre segmentlere ayırma özelliği ekliyor. Böylece model, her örnek için ayrı ayrı tıklama gerektirmeden eşleşen tüm örnekleri belirleyebiliyor.
• Açık söz dağarcıklı metin istemleri: Önceki sürümlerden farklı olarak SAM 3, kısa doğal dil ifadelerini yorumlayabiliyor. Bu özellik, sabit bir etiket listesine duyulan ihtiyacı ortadan kaldırıyor ve modelin daha belirli veya daha az yaygın kavramlarla çalışmasını mümkün kılıyor.
• Algılama, segmentasyon ve izleme için tek model: SAM 3, algılama, segmentasyon ve izlemeyi tek bir modelde birleştirerek nesneleri bulmak, segmentasyon maskeleri oluşturmak ve nesneleri video kareleri boyunca izlemek için ayrı sistemlere duyulan ihtiyacı ortadan kaldırıyor. Bu, hem görüntüler hem de videolar için daha tutarlı ve verimli bir iş akışı sağlıyor. SAM 2 de bazı izleme özellikleri sunuyordu ancak SAM 3 çok daha güçlü ve güvenilir bir performans sergiliyor.
• Karmaşık sahnelerde daha kararlı sonuçlar: SAM 3 metni, örnek görüntüleri ve görsel istemleri bir arada kullanabildiği için yalnızca görsel tıklamalara dayanan önceki sürümlere kıyasla karmaşık veya tekrarlı sahneleri daha güvenilir biçimde işleyebiliyor.

Şekil 2. SAM 3, metin veya görüntü örnekleriyle kavram segmentasyonunu sunuyor. (Kaynak)

SAM 3, SAM 2 ve SAM 1 karşılaştırması#

Farklı hayvanların bulunduğu bir safari videosu izlediğini ve yalnızca filleri algılayıp segmentlere ayırmak istediğini düşün. Bu görev, SAM'in farklı sürümlerinde nasıl gerçekleştirilir?

SAM'de segmentasyon maskesi oluşturmak için her karede her filin üzerine elle tıklaman gerekir. İzleme özelliği olmadığından her yeni karede yeniden tıklaman gerekir.

SAM 2'de bir file bir kez tıklayıp maskesini alabilir ve modelin aynı fili video boyunca izlemesini sağlayabilirsin. Ancak SAM 2, “fil” gibi kategorileri kendi başına anlamadığından birden fazla fili (belirli nesneleri) segmentlere ayırmak istiyorsan her biri için ayrı tıklamalar yapman gerekir.

SAM 3 ile iş akışı çok daha basit hâle geliyor. “Fil” yazabilir veya örnek sağlamak için tek bir filin çevresine sınırlayıcı kutu çizebilirsin. Model, videodaki tüm filleri otomatik olarak bulur, segmentlere ayırır ve kareler boyunca tutarlı biçimde izler. Önceki sürümlerde kullanılan tıklama ve kutu istemlerini desteklemeye devam ediyor; ayrıca SAM ve SAM 2'nin yapamadığı şekilde metin istemlerine ve örnek görüntülere de yanıt verebiliyor.

SAM 3 modeli nasıl çalışıyor?#

Şimdi SAM 3 modelinin nasıl çalıştığına ve nasıl eğitildiğine daha yakından bakalım.

SAM 3'ün model mimarisine genel bakış#

SAM 3, kavram istemlerini ve görsel istemleri tek bir sistemde desteklemek için çeşitli bileşenleri bir araya getiriyor. Modelin temelinde, Meta'nın birleşik açık kaynaklı görüntü-metin kodlayıcısı olan Meta Perception Encoder yer alıyor.

Bu kodlayıcı hem görüntüleri hem de kısa isim öbeklerini işleyebiliyor. Basitçe söylemek gerekirse bu, SAM 3'ün dil ve görsel özellikleri Segment Anything Model'in önceki sürümlerine kıyasla daha etkili biçimde ilişkilendirmesini sağlıyor.

Bu kodlayıcının üzerine kurulu olan SAM 3, DETR Transformer modelleri ailesini temel alan bir algılayıcı içeriyor. Bu algılayıcı, görüntüdeki nesneleri belirliyor ve sistemin hangi nesnelerin kullanıcının istemiyle eşleştiğini saptamasına yardımcı oluyor.

SAM 3, özellikle video segmentasyonu için SAM 2'deki bellek bankasını ve bellek kodlayıcısını temel alan bir izleme bileşeni kullanıyor. Bu sayede model, nesnelerle ilgili bilgileri kareler boyunca saklayarak nesneleri zaman içinde yeniden tanımlayabiliyor ve izleyebiliyor.

Şekil 3. Kavramlarla her şeyi segmentlere ayırma nasıl çalışır? (Kaynak: scontent)

Segment Anything Model 3'ün arkasındaki ölçeklenebilir veri motoru#

SAM 3'ü eğitmek için Meta'nın internette hâlihazırda bulunanlardan çok daha fazla açıklamalı veriye ihtiyacı vardı. Yüksek kaliteli segmentasyon maskeleri ve metin etiketleri oluşturmak zordur; görüntülerde ve videolarda bir kavramın her örneğinin ana hatlarını tamamen çıkarmak ise yavaş ve maliyetlidir.

Bu sorunu çözmek için Meta; SAM 3'ü, ek yapay zekâ modellerini ve birlikte çalışan insan açıklama uzmanlarını bir araya getiren yeni bir veri motoru kurdu. İş akışı, SAM 3'ü ve Llama tabanlı bir açıklama modelini içeren yapay zekâ sistemleri hattıyla başlıyor.

Bu sistemler geniş görüntü ve video koleksiyonlarını tarıyor, açıklamalar oluşturuyor, bu açıklamaları metin etiketlerine dönüştürüyor ve ilk segmentasyon maskesi adaylarını üretiyor. Ardından insan ve yapay zekâ açıklama uzmanları bu adayları inceliyor.

Maske kalitesini kontrol etme ve kavram kapsamını doğrulama gibi görevlerde insan doğruluğuna ulaşacak veya bunu aşacak şekilde eğitilen yapay zekâ açıklama uzmanları, kolay durumları filtreliyor. Modelin hâlâ zorlanabileceği daha güç örneklerde ise insanlar devreye giriyor.

Şekil 4. SAM 3 veri motoru (Kaynak)

Bu yaklaşım, Meta'nın açıklama ekleme hızını önemli ölçüde artırıyor. Yapay zekâ açıklama uzmanlarının kolay durumları ele almasıyla hat, negatif istemlerde yaklaşık beş kat, ince ayrıntılı alanlardaki pozitif istemlerde ise %36 daha hızlı hâle geliyor.

Bu verimlilik, veri kümesinin dört milyondan fazla benzersiz kavrama ölçeklenmesini mümkün kıldı. Yapay zekâ önerileri, insan düzeltmeleri ve güncellenmiş model tahminlerinden oluşan sürekli döngü de etiket kalitesini zaman içinde artırıyor ve SAM 3'ün çok daha geniş bir görsel ve metin tabanlı kavram kümesini öğrenmesine yardımcı oluyor.

SAM 3'ün performans iyileştirmeleri#

Performans açısından SAM 3, önceki modellere kıyasla belirgin bir iyileşme sunuyor. Açık söz dağarcıklı kavram algılama ve segmentasyonunu değerlendiren Meta'nın yeni SA-Co kıyaslama testinde SAM 3, hem görüntülerde hem de videolarda önceki sistemlerin yaklaşık iki katı performans gösteriyor.

Ayrıca nokta-maskesi ve maske-maskecik gibi etkileşimli görsel görevlerde SAM 2 ile aynı düzeyde performans gösteriyor veya onu geride bırakıyor. Meta, modellerin eğitim örnekleri olmadan nadir kategorileri tanıması gereken sıfır örnekli LVIS ve bir nesnenin tüm örneklerinin algılanıp algılanmadığını ölçen nesne sayımı gibi daha zor değerlendirmelerde de ek kazanımlar elde edildiğini bildiriyor; bu da farklı alanlardaki genelleme becerisinin daha güçlü olduğunu gösteriyor.

Bu doğruluk iyileştirmelerine ek olarak SAM 3 verimlidir: H200 GPU'da 100'den fazla algılanmış nesne içeren bir görüntüyü yaklaşık 30 milisaniyede işler ve videoda birden fazla nesneyi izlerken gerçek zamana yakın hızları korur. Metin istemleriyle SAM 3 ve daha yeni SAM 3.1, gerçek dünyadaki nesne algılama testlerinde diğer görme-dil modelleriyle Ultralytics VLM Leaderboard üzerinde karşılaştırılır.

Segment Anything Model 3'ün uygulamaları#

Artık SAM 3'ü daha iyi anladığımıza göre, gelişmiş metin yönlendirmeli akıl yürütmeden bilimsel araştırmalara ve Meta'nın kendi ürünlerine kadar gerçek uygulamalarda nasıl kullanıldığını inceleyelim.

SAM 3 Agent ile karmaşık metin sorgularını işleme#

SAM 3, Meta'nın SAM 3 Agent adını verdiği daha büyük bir çok kipli dil modelinin içinde bir araç olarak da kullanılabiliyor. Agent, SAM 3'e “fil” gibi kısa bir ifade vermek yerine, daha karmaşık bir soruyu SAM 3'ün anlayabileceği daha küçük istemlere bölebiliyor.

Örneğin kullanıcı “Resimdeki hangi nesne bir atı kontrol etmek ve yönlendirmek için kullanılır?” diye sorarsa agent farklı isim öbeklerini dener, bunları SAM 3'e gönderir ve hangi maskelerin anlamlı olduğunu kontrol eder. Doğru nesneyi bulana kadar istemleri iyileştirmeye devam eder.

SAM 3 Agent, özel akıl yürütme veri kümeleriyle eğitilmemiş olsa bile ReasonSeg ve OmniLabel gibi karmaşık metin sorguları için tasarlanmış kıyaslama testlerinde iyi performans gösteriyor. Bu, SAM 3'ün hem dil anlayışına hem de ince ayrıntılı görsel segmentasyona ihtiyaç duyan sistemleri destekleyebildiğini gösteriyor.

SAM 3'ün bilimsel araştırma ve koruma uygulamaları#

SAM 3'ün ayrıntılı görsel etiketlerin önemli olduğu araştırma ortamlarında şimdiden kullanılıyor olması dikkat çekici. Meta; 10.000'den fazla fotokapan videosu içeren, yaban hayatını izlemeye yönelik herkese açık SA-FARI veri kümesini oluşturmak için Conservation X Labs ve Osa Conservation ile çalıştı.

Her karedeki her hayvan kutular ve segmentasyon maskeleriyle etiketleniyor; bunu elle açıklamak son derece zaman alıcı olurdu. Benzer biçimde, okyanus araştırmalarında SAM 3, su altı görüntüleri için örnek segmentasyon maskeleri oluşturmak ve yeni değerlendirme kıyaslama testlerini desteklemek üzere FathomNet ve MBARI ile birlikte kullanılıyor.

Bu tür veri kümeleri, bilim insanlarının video görüntülerini daha verimli analiz etmesine ve genellikle geniş ölçekte izlenmesi zor olan hayvanları ve yaşam alanlarını incelemesine yardımcı oluyor. Araştırmacılar bu kaynakları tür tanımlama, davranış analizi ve otomatik ekolojik izleme için kendi modellerini geliştirmek üzere de kullanabiliyor.

Meta, SAM 3'ü ürünlerinde nasıl kullanıma sunuyor?#

Araştırma alanındaki kullanımlarının yanı sıra SAM 3, Meta'nın tüketici ürünlerinde de yeni özelliklere ve kullanım senaryolarına güç veriyor. Şimdiden entegre edildiği alanlardan bazıları şöyle:

• Instagram düzenlemeleri: İçerik üreticileri, kare kare elle çalışmak zorunda kalmadan bir videodaki belirli bir kişiye veya nesneye efekt uygulayabiliyor.
• Meta AI uygulaması ve web'deki meta.ai: SAM 3, görüntüleri ve videoları değiştirmeye, iyileştirmeye ve yeniden düzenlemeye yönelik yeni araçları destekliyor.
• Facebook Marketplace'in “Odanda Gör” özelliği: SAM 3, SAM 3D ile birlikte çalışarak insanların mobilyaları veya dekorasyon ürünlerini tek bir fotoğraf kullanarak evlerinde önizlemesini sağlıyor.
• Aria Gen 2 araştırma gözlükleri: Segment Anything Model 3, birinci şahıs bakış açısından elleri ve nesneleri segmentlere ayırıp izlemeye yardımcı olarak artırılmış gerçeklik (AR), robotik ve bağlamsal yapay zekâ araştırmalarını destekliyor.

Önemli çıkarımlar#

SAM 3, segmentasyon alanında heyecan verici bir ilerleme. Kavram segmentasyonunu, açık söz dağarcıklı metin istemlerini ve geliştirilmiş izleme özelliklerini sunuyor. Hem görüntülerde hem videolarda kayda değer ölçüde daha güçlü performans sergileyen modele SAM 3D'nin eklenmesiyle bu model paketi, görsel yapay zekâ, yaratıcı araçlar, bilimsel araştırmalar ve gerçek dünyadaki ürünler için yeni olanaklar sunuyor.

Yapay zekâ hakkında daha fazlasını keşfetmek için topluluğumuza katıl ve GitHub depomuzu incele. Kendi görsel yapay zekâ projen üzerinde çalışmak istiyorsan lisans seçeneklerimize göz at. Çözümler sayfalarımızı ziyaret ederek sağlık hizmetlerinde yapay zekâ ve perakendede Vision AI gibi uygulamalar hakkında daha fazla bilgi edin.