SAM 3'ü Keşfetmek: Meta AI’nın yeni Segment Anything Model'i

19 Kasım 2025'te Meta AI, SAM 3 olarak da bilinen Segment Anything Model 3'ü yayınladı. Segment Anything Model'in bu son sürümü; metin istemleri, görsel istemler ve örnek görseller kullanarak gerçek dünyadaki resim ve videolardaki nesneleri tespit etmek, bölümlemek ve takip etmek için yeni yollar sunuyor.

SAM 3 modeli, SAM ve SAM 2 üzerine inşa edilmiş olup kavram bölümleme, açık sözcük dağarcığı ile tespit ve gerçek zamanlı video takibi gibi yeni gelişmeler ve özellikler getiriyor. Kısa isim tamlamalarını anlayabiliyor, nesneleri kareler boyunca takip edebiliyor ve önceki modellerin aynı tutarlılıkla ele alamadığı ince detaylı veya nadir kavramları tanımlayabiliyor.

SAM 3 sürümünün bir parçası olarak Meta, SAM 3D'yi de tanıttı. Bu yeni nesil model paketi, tek bir görselden nesneleri, sahneleri ve tam insan vücutlarını yeniden oluşturuyor ve Segment Anything ekosistemini 3D anlayışına doğru genişletiyor. Bu eklemeler, computer vision, robotik, medya düzenleme ve yaratıcı iş akışları genelinde yeni uygulamaların önünü açıyor.

Bu makalede SAM 3'ün ne olduğunu, onu SAM 2'den ayıran şeyleri, modelin nasıl çalıştığını ve gerçek dünyadaki uygulamalarını inceleyeceğiz. Hadi başlayalım!

Link to this sectionSAM 3 nedir? Meta’nın Segment Anything Model 3’üne bir bakış#

SAM 3, basit talimatlara dayanarak resim ve videolardaki nesneleri tanımlayabilen, ayırabilen ve takip edebilen son teknoloji bir computer vision model dir. Sabit bir etiket listesine güvenmek yerine SAM 3, doğal dili ve görsel ipuçlarını anlar, bu da modele neyi bulmasını istediğinizi söylemeyi kolaylaştırır.

Örneğin, SAM 3 ile “sarı okul otobüsü” veya “çizgili kedi” gibi kısa bir ifade yazabilir, bir nesneye tıklayabilir veya bir görseldeki örneği vurgulayabilirsiniz. Model daha sonra eşleşen her nesneyi tespit eder ve temiz bölümleme maskeleri (hangi piksellerin bir nesneye ait olduğunu tam olarak gösteren görsel bir anahat) oluşturur. SAM 3 ayrıca bu nesneleri video karelerinde takip edebilir ve hareket ettiklerinde onları tutarlı bir şekilde koruyabilir.

Link to this sectionSAM 3D, tek görselden 3D yeniden oluşturmayı mümkün kılıyor#

Meta AI’nın duyurusunun bir diğer heyecan verici parçası, Segment Anything projesini 3D understanding alanına taşıyan SAM 3D'dir. SAM 3D, tek bir 2D görsel alıp bir nesnenin veya insan vücudunun şeklini, pozunu veya yapısını üç boyutta yeniden oluşturabilir. Başka bir deyişle model, yalnızca tek bir bakış açısı mevcut olduğunda bile bir şeyin alanı nasıl kapladığını tahmin edebilir.

SAM 3D, iki farklı model olarak yayınlandı: Gündelik nesneleri geometri ve doku ile yeniden oluşturan SAM 3D Objects ve tek bir görselden insan vücudu şeklini ve pozunu tahmin eden SAM 3D Body. Her iki model de SAM 3'ten gelen bölümleme çıktısını kullanır ve ardından orijinal fotoğraftaki nesnenin görünümü ve konumuyla hizalanan bir 3D temsil oluşturur.

Şekil 1. SAM 3D kullanımına bir örnek. (Kaynak: Meta AI’nın segment anything oyun alanı kullanılarak oluşturulmuştur)

Link to this sectionSAM 3: Tespit, bölümleme ve takibi birleştirmek için yeni özellikler#

SAM 3'ün tespit, bölümleme ve takibi tek bir birleşik modelde toplamak için getirdiği temel yeniliklerden bazıları şunlardır:

• Kavram bölümleme görevleri: SAM ve SAM 2'de nesne bölümleme, tıklamalar veya kutular gibi görsel istemlere bağlıydı. SAM 3, kısa bir metin ifadesine veya görselden alınan bir örnek kırpmaya dayanarak nesneleri bölümleme yeteneği ekler. Bu, modelin her biri için tıklama gerektirmeden eşleşen tüm örnekleri tanımlayabileceği anlamına gelir.
• Açık sözcük dağarcığı metin istemleri: Önceki sürümlerden farklı olarak SAM 3, kısa doğal dil ifadelerini yorumlayabilir. Bu, sabit bir etiket listesine olan ihtiyacı ortadan kaldırır ve modelin daha spesifik veya daha az yaygın kavramlarla çalışmasını mümkün kılar.
• Tespit, bölümleme ve takip için tek bir model: SAM 3; tespit, bölümleme ve takibi tek bir modelde birleştirerek nesneleri bulmak, bölümleme maskeleri oluşturmak ve onları video kareleri boyunca takip etmek için ayrı sistemlere olan ihtiyacı ortadan kaldırır. Bu, hem resimler hem de videolar için daha tutarlı ve verimli bir iş akışı oluşturur ve SAM 2 de bazı takip yetenekleri sunsa da, SAM 3 çok daha güçlü ve güvenilir bir performans sağlar.
• Karmaşık sahnelerde daha kararlı sonuçlar: SAM 3 metin, örnek görseller ve görsel istemleri birleştirebildiğinden, yalnızca görsel tıklamalara dayanan önceki sürümlere göre karmaşık veya tekrarlayan sahneleri daha güvenilir bir şekilde işleyebilir.

Şekil 2. SAM 3, metin veya görsel örnekleriyle kavram bölümlemeyi tanıtıyor. (Kaynak)

Link to this sectionSAM 3 ile SAM 2 ve SAM 1'in karşılaştırılması#

Birçok farklı hayvanın olduğu bir safari videosu izlediğinizi ve sadece filleri tespit edip bölümlemek istediğinizi düşünün. Bu görev, SAM'in farklı sürümlerinde nasıl görünürdü?

SAM ile, bölümleme maskesi oluşturmak için her karedeki her filin üzerine manuel olarak tıklamanız gerekirdi. Takip özelliği olmadığı için her yeni kare yeni tıklamalar gerektirir.

SAM 2 ile bir filin üzerine bir kez tıklayıp maskesini alabilir ve model, videodaki aynı fili takip edebilirdi. Ancak SAM 2 “fil” gibi kategorileri kendi başına anlamadığı için birden fazla fili (belirli nesneleri) bölümlemek isteseydiniz yine ayrı tıklamalar yapmanız gerekirdi.

SAM 3 ile iş akışı çok daha basit hale gelir. “Fil” yazabilir veya bir örnek sağlamak için tek bir filin etrafına bir bbox çizebilirsiniz; model videodaki her fili otomatik olarak bulur, bölümler ve kareler boyunca tutarlı bir şekilde takip eder. Önceki sürümlerde kullanılan tıklama ve kutu istemlerini desteklemeye devam eder, ancak artık metin istemlerine ve örnek görsellere de yanıt verebilir; bu da SAM ve SAM 2'nin yapamadığı bir şeydir.

Link to this sectionSAM 3 modeli nasıl çalışır#

Şimdi SAM 3 modelinin nasıl çalıştığına ve nasıl eğitildiğine daha yakından bakalım.

Link to this sectionSAM 3'ün model mimarisine genel bir bakış#

SAM 3, kavram istemlerini ve görsel istemleri tek bir sistemde desteklemek için çeşitli bileşenleri bir araya getiriyor. Özünde model, Meta’nın birleşik açık kaynaklı görsel-metin kodlayıcısı olan Meta Perception Encoder'ı kullanır.

Bu kodlayıcı hem görselleri hem de kısa isim tamlamalarını işleyebilir. Basitçe ifade etmek gerekirse bu, SAM 3'ün dil ve görsel özellikleri Segment Anything Model'in önceki sürümlerinden daha etkili bir şekilde birbirine bağlamasını sağlar.

Bu kodlayıcının üzerine SAM 3, DETR Transformer modelleri ailesine dayanan bir dedektör ekler. Bu dedektör görseldeki nesneleri tanımlar ve sistemin hangi nesnelerin kullanıcının istemine karşılık geldiğini belirlemesine yardımcı olur.

Özellikle video bölümleme için SAM 3, SAM 2'deki hafıza bankası ve hafıza kodlayıcısı üzerine inşa edilen bir takip bileşeni kullanır. Bu, modelin kareler arasındaki nesneler hakkında bilgi tutmasını sağlar, böylece onları zaman içinde yeniden tanımlayabilir ve takip edebilir.

Şekil 3. Kavramlarla her şeyi bölümlemenin çalışma mantığı (Kaynak: scontent)

Link to this sectionSegment Anything Model 3'ün arkasındaki ölçeklenebilir veri motoru#

SAM 3'ü eğitmek için Meta, internette mevcut olandan çok daha fazla açıklamalı veriye ihtiyaç duydu. Yüksek kaliteli bölümleme maskeleri ve metin etiketlerini büyük ölçekte oluşturmak zordur ve görseller ile videolardaki her kavram örneğini tamamen ana hatlarıyla belirtmek yavaş ve pahalıdır.

Bunu çözmek için Meta, SAM 3'ün kendisini, ek AI modellerini ve birlikte çalışan insan açıklayıcıları birleştiren yeni bir veri motoru oluşturdu. İş akışı, SAM 3 ve Llama tabanlı bir altyazı modeli de dahil olmak üzere bir AI sistemleri dizisi ile başlar.

Bu sistemler büyük görsel ve video koleksiyonlarını tarar, altyazılar oluşturur, bu altyazıları metin etiketlerine dönüştürür ve erken bölümleme maskesi adayları üretir. İnsan ve AI açıklayıcılar daha sonra bu adayları gözden geçirir.

Maske kalitesini kontrol etme ve kavram kapsamını doğrulama gibi görevlerde insan doğruluğunu yakalamak veya aşmak için eğitilen AI açıklayıcılar, basit durumları filtreler. İnsanlar yalnızca modelin hala zorlanabileceği daha çetin örnekler için devreye girer.

Şekil 4. SAM 3 veri motoru (Kaynak)

Bu yaklaşım Meta'ya açıklama hızında büyük bir artış sağlar. AI açıklayıcıların kolay durumları halletmesine izin vererek, hat üzerindeki süreç negatif istemlerde yaklaşık beş kat, ince detaylı alanlardaki pozitif istemlerde ise %36 daha hızlı hale gelir.

Bu verimlilik, veri setini dört milyondan fazla benzersiz kavrama ölçeklendirmeyi mümkün kıldı. AI önerileri, insan düzeltmeleri ve güncellenmiş model tahminlerinden oluşan sürekli döngü, etiket kalitesini zamanla artırır ve SAM 3'ün çok daha geniş bir görsel ve metin tabanlı kavram setini öğrenmesine yardımcı olur.

Link to this sectionSAM 3'ün performans iyileştirmeleri#

Performans açısından SAM 3, önceki modellere göre net bir gelişme sağlar. Açık sözcük dağarcığı kavram tespiti ve bölümlemesini değerlendiren Meta’nın yeni SA-Co benchmark testinde SAM 3, hem resimlerde hem de videolarda önceki sistemlerin yaklaşık iki katı performans elde ediyor.

Ayrıca nokta-maske ve maske-masklet gibi etkileşimli görsel görevlerde SAM 2'yi yakalıyor veya geçiyor. Meta, zero-shot LVIS (modellerin eğitim örnekleri olmadan nadir kategorileri tanıması gerektiği) ve nesne sayma (tüm nesne örneklerinin tespit edilip edilmediğinin ölçülmesi) gibi daha zor değerlendirmelerde ek kazanımlar bildirerek alanlar genelinde daha güçlü genelleme vurgusu yapıyor.

Bu doğruluk iyileştirmelerine ek olarak SAM 3 verimlidir; H200 GPU üzerinde 100'den fazla tespit edilen nesneye sahip bir görseli yaklaşık 30 milisaniyede işler ve videoda birden fazla nesneyi takip ederken gerçek zamanlıya yakın hızları korur.

Link to this sectionSegment Anything Model 3'ün uygulamaları#

Artık SAM 3 hakkında daha iyi bir anlayışa sahip olduğumuza göre, gelişmiş metin destekli muhakemeden bilimsel araştırmalara ve Meta’nın kendi ürünlerine kadar gerçek uygulamalarda nasıl kullanıldığını inceleyelim.

Link to this sectionSAM 3 Agent kullanarak karmaşık metin sorgularını işleme#

SAM 3, Meta'nın SAM 3 Agent olarak adlandırdığı daha büyük bir çok modlu dil modeli içinde bir araç olarak da kullanılabilir. SAM 3'e “fil” gibi kısa bir ifade vermek yerine, ajan daha karmaşık bir soruyu SAM 3'ün anladığı daha küçük istemlere bölebilir.

Örneğin kullanıcı, “Resimdeki hangi nesne bir atı kontrol etmek ve yönlendirmek için kullanılır?” diye sorarsa ajan farklı isim tamlamalarını dener, bunları SAM 3'e gönderir ve hangi maskelerin anlamlı olduğunu kontrol eder. Doğru nesneyi bulana kadar iyileştirmeye devam eder.

Özel muhakeme veri setleri üzerinde eğitilmemiş olsa bile SAM 3 Agent, ReasonSeg ve OmniLabel gibi karmaşık metin sorguları için tasarlanmış benchmark testlerinde iyi performans gösterir. Bu, SAM 3'ün hem dil anlayışına hem de ince detaylı görsel bölümlemeye ihtiyaç duyan sistemleri destekleyebileceğini gösterir.

Link to this sectionSAM 3'ün bilimsel ve koruma uygulamaları#

İlginç bir şekilde SAM 3, detaylı görsel etiketlerin önemli olduğu araştırma ortamlarında şimdiden kullanılıyor. Meta, 10.000'den fazla kamera kapanı videosu içeren halka açık bir yaban hayatı izleme veri seti olan SA-FARI'yi oluşturmak için Conservation X Labs ve Osa Conservation ile birlikte çalıştı.

Her karedeki her hayvan kutular ve bölümleme maskeleriyle etiketlenmiştir; bu, elle açıklaması son derece zaman alıcı olacak bir şeydir. Benzer şekilde okyanus araştırmalarında SAM 3, underwater imagery için örnek bölümleme maskeleri oluşturmak ve yeni değerlendirme benchmark testlerini desteklemek amacıyla FathomNet ve MBARI ile birlikte kullanılıyor.

Bu tür veri setleri, bilim insanlarının video görüntülerini daha verimli bir şekilde analiz etmelerine ve ölçekli olarak takibi genellikle zor olan hayvanları ve habitatları incelemelerine yardımcı olur. Araştırmacılar ayrıca bu kaynakları tür tanımlama, davranış analizi ve otomatik ekolojik izleme için kendi modellerini oluşturmak amacıyla kullanabilirler.

Link to this sectionMeta, SAM 3'ü ürünlerinde nasıl dağıtıyor#

Araştırma kullanımlarının yanı sıra SAM 3, Meta'nın tüketici ürünlerinde yeni özellikleri ve kullanım durumlarını destekliyor. İşte şimdiden entegre edildiği bazı yollara bir göz atalım:

• Instagram düzenlemeleri: İçerik oluşturucular, kare kare manuel çalışma yapmadan videodaki belirli bir kişiye veya nesneye efekt uygulayabilirler.
• Meta AI uygulaması ve web'deki meta.ai: SAM 3, resim ve videoları değiştirmek, geliştirmek ve yeniden düzenlemek için yeni araçları destekler.
• Facebook Marketplace’in “Oda İçinde Görüntüle” özelliği: SAM 3, insanların tek bir fotoğraf kullanarak evlerindeki mobilya veya dekoru önizlemelerini sağlamak için SAM 3D ile birlikte çalışır.
• Aria Gen 2 research glasses: Segment Anything Model 3, birinci şahıs bakış açısıyla elleri ve nesneleri bölümler ve takip eder; bu da AR (Artırılmış Gerçeklik), robotik ve bağlamsal AI araştırmalarını destekler.

Link to this sectionÖne çıkanlar#

SAM 3, bölümleme için heyecan verici bir adım. Kavram bölümleme, açık sözcük dağarcığı metin istemleri ve iyileştirilmiş takip özelliklerini tanıtıyor. Hem resimlerde hem de videolarda gözle görülür şekilde daha güçlü performans ve SAM 3D'nin eklenmesiyle model paketi, vizyon AI, yaratıcı araçlar, bilimsel araştırmalar ve gerçek dünya ürünleri için yeni olanaklar sunuyor.

Topluluğumuza katılın ve AI hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfedin. Kendi vizyon AI projenizi oluşturmak istiyorsanız lisanslama seçeneklerimize göz atın. Çözüm sayfalarımızı ziyaret ederek AI in healthcare ve Vision AI in retail gibi uygulamalar hakkında daha fazla bilgi edinin.