Meta FAIR'den yapay zeka araştırma güncellemeleri: SAM 2.1 ve CoTracker3

Yapay zeka (YZ), yeni yenilikler ve çığır açan gelişmelerin her zamankinden daha hızlı ortaya çıkmasıyla son zamanlarda büyük bir heyecan ve enerjiyle çalkalanan bir araştırma alanıdır. Geçtiğimiz birkaç hafta içinde, Meta'nın Temel Yapay Zeka Araştırmaları (FAIR) ekibi, YZ'nin farklı alanlarındaki zorlukları ele almayı amaçlayan bir dizi araç ve model tanıttı. Bu sürümler, sağlık hizmetleri, robotik ve artırılmış gerçeklik gibi çok çeşitli alanları etkileyebilecek güncellemeler içeriyor.

Örneğin, güncellenmiş SAM 2.1 modeli, nesne bölütlemeyi iyileştirerek görsellerdeki ve videolardaki nesnelerin doğru bir şekilde tanımlanmasını ve ayrıştırılmasını kolaylaştırıyor. Bu sırada CoTracker3, nokta takibine odaklanarak, nesneler hareket ettiğinde veya kısmen kapandığında bile video karelerindeki noktaların takip edilmesine yardımcı oluyor.

Meta has also introduced lighter, faster versions of its Llama language model for efficient on-device use, along with new tactile sensing technology for robotics. In this article, we’ll break down these latest releases from Meta FAIR, looking at what each tool offers. Let’s get started!

Link to this sectionMeta'nın geliştirilmiş Segment Anything Model'i: SAM 2.1#

Nesne bölütleme, önemli bir bilgisayarlı görü görevi olarak, bir görsel veya video içindeki belirgin nesnelerin tanımlanmasını ve ayrıştırılmasını mümkün kılarak belirli ilgi alanlarının analizini kolaylaştırır. Piyasaya sürüldüğünden beri Meta'nın Segment Anything Model 2 (SAM 2) modeli, tıbbi görüntüleme ve meteoroloji gibi farklı alanlarda nesne bölütleme için kullanılmıştır. Topluluktan gelen geri bildirimlerden yola çıkan Meta, orijinal modelle karşılaşılan bazı zorlukları aşmak ve genel olarak daha güçlü bir performans sunmak için tasarlanmış geliştirilmiş bir versiyon olan SAM 2.1'i tanıttı.

Şekil 1. SAM 2.1 Model Performansı Kıyaslaması.

SAM 2.1 includes updates to better handle visually similar and smaller objects, thanks to new data augmentation techniques. It also improves how the model deals with occlusion (when parts of an object are hidden from view) by training it on longer video sequences, allowing it to "remember" and recognize objects over time, even if they’re temporarily blocked. For example, if someone is filming a video of a person walking behind a tree, SAM 2.1 can track the person as they reappear on the other side, using its memory of the object’s position and movement to fill in gaps when the view is briefly interrupted.

Alongside these updates, Meta has released the SAM 2 Developer Suite, providing open-source training code and full demo infrastructure so developers can fine-tune SAM 2.1 with their own data and integrate it into a range of applications.

Link to this sectionCoTracker3: Meta'nın takip modeli ile özellikleri ve güncellemeleri#

Bir diğer ilginç bilgisayarlı görü görevi de nokta takibidir. Bu görev, bir videodaki birden fazla kare boyunca belirli noktaları veya özellikleri izlemeyi içerir. Bir pistte süren bir bisikletçinin videosunu düşünün; nokta takibi, modelin bisikletçi anlık olarak engeller tarafından gizlense bile kask veya tekerlekler gibi noktaları takip etmesini sağlar.

Nokta takibi; 3D yeniden yapılandırma, robotik ve video düzenleme gibi uygulamalar için temeldir. Geleneksel modeller genellikle karmaşık kurulumlara ve büyük sentetik veri setlerine güvenir, bu da gerçek dünya senaryolarına uygulandıklarında etkinliklerini sınırlar.

Meta'nın CoTracker3 takip modeli, modelin mimarisini basitleştirerek bu sınırlamaları ele alır. Ayrıca, modelin gerçek, açıklanmamış videolardan öğrenmesini sağlayan ve CoTracker3'ü pratik kullanım için daha verimli ve ölçeklenebilir hale getiren bir sözde etiketleme tekniği sunar.

Şekil 2. CoTracker3'ün Diğer Takip Modelleriyle Karşılaştırılması.

CoTracker3'ü öne çıkaran özelliklerden biri, tıkanıklıkları iyi bir şekilde yönetebilmesidir. Modelin birden fazla takip edilen nokta arasında bilgi paylaşmasına olanak tanıyan bir teknik olan çapraz izleme dikkati kullanarak, CoTracker3 görünür olanlara referans vererek gizli noktaların konumlarını tahmin edebilir. Bunu yaparak, CoTracker3 kalabalık bir sahnede bir kişiyi takip etmek gibi dinamik ortamlarda oldukça etkili olacak şekilde tasarlanmıştır.

CoTracker3 ayrıca hem çevrimiçi hem de çevrimdışı modlar sunar. Çevrimiçi mod gerçek zamanlı takip sağlarken, çevrimdışı mod video düzenleme veya animasyon gibi görevler için ideal olan, tüm video dizileri boyunca daha kapsamlı takip için kullanılabilir.

Link to this sectionMeta FAIR'den diğer güncellemeler ve araştırmalar#

SAM 2.1 ve CoTracker3, Meta'nın bilgisayarlı görü alanındaki en son gelişmelerini sergilerken, yapay zeka, doğal dil işleme (NLP) ve robotik gibi diğer alanlarda da heyecan verici güncellemeler mevcut. Meta FAIR'in bu diğer güncel gelişmelerinden bazılarına bir göz atalım.

Link to this sectionMeta Spirit LM: Dil ve Çok Modlu Modellerde YZ Yenilikleri#

Meta’s Spirit LM is a new multimodal language model that combines text and speech capabilities, making interactions with AI feel more natural. Unlike traditional models that handle only text or only speech, Spirit LM can seamlessly switch between the two.

Spirit LM, daha insan benzeri hissettiren yollarla dil anlama ve üretme kapasitesine sahiptir. Örneğin, hem konuşulan hem de yazılı dilde dinleyip yanıt verebilen sanal asistanları geliştirebilir veya konuşma ile metin arasında dönüşüm yapan erişilebilirlik araçlarını destekleyebilir.

Şekil 3. Meta Spirit LM Kullanılarak Metinden Konuşmaya Dönüştürme Örneği.

Dahası Meta, büyük dil modellerini daha verimli hale getirmek için teknikler geliştirdi. Layer Skip adı verilen bu tekniklerden biri, yalnızca belirli bir görev için gerekli olan katmanları etkinleştirerek hesaplama ihtiyaçlarını ve enerji maliyetlerini azaltmaya yardımcı olur. Bu, özellikle sınırlı bellek ve güce sahip cihazlardaki uygulamalar için oldukça kullanışlıdır.

Taking the need to deploy AI applications on such devices a step further, Meta has also rolled out quantized versions of its Llama models. These models are compressed to run faster on mobile devices without sacrificing accuracy.

Link to this sectionMeta Lingua ile optimizasyonun geleceğine bir bakış#

YZ modelleri boyut ve karmaşıklık açısından büyüdükçe, eğitim süreçlerini optimize etmek hayati hale geldi. Optimizasyon ile ilgili olarak Meta, büyük dil modellerinin eğitimini kolaylaştıran esnek ve verimli bir kod tabanı olan Meta Lingua'yı tanıttı. Meta Lingua'nın modüler tasarımı, araştırmacıların deneylerini hızlı bir şekilde özelleştirmelerine ve ölçeklendirmelerine olanak tanır.

Araştırmacılar teknik kurulumla daha az, fiili araştırmayla daha fazla zaman geçirebilirler. Kod tabanı ayrıca hafiftir ve entegrasyonu kolaydır, bu da onu hem küçük çaplı deneyler hem de büyük ölçekli projeler için uygun hale getirir. Bu teknik engelleri ortadan kaldırarak Meta Lingua, araştırmacıların daha hızlı ilerleme kaydetmelerine ve yeni fikirleri daha kolaylıkla test etmelerine yardımcı olur.

Şekil 4. Meta Lingua'ya Genel Bakış.

Link to this sectionMeta'nın YZ güvenliğindeki iyileştirmeleri#

As quantum computing technology advances, it brings new challenges to data security. Unlike today’s computers, it’s likely that quantum computers will be able to solve complex calculations much faster. This means they could potentially break the encryption methods currently used to protect sensitive information. That’s why research in this field is becoming increasingly important - developing new ways to protect data is essential as we prepare for the future of quantum computing.

Bunu ele almak için Meta, kuantum sonrası kriptografik güvenliği güçlendirmeyi amaçlayan bir araç olan Salsa'yı geliştirdi. Salsa, araştırmacıların YZ destekli saldırıları test etmelerine ve potansiyel zayıflıkları belirlemelerine yardımcı olarak kriptografik sistemlerdeki güvenlik açıklarını daha iyi anlamalarını ve gidermelerini sağlar. Gelişmiş saldırı senaryolarını simüle ederek Salsa, kuantum çağı için daha güçlü ve daha dayanıklı güvenlik önlemlerinin geliştirilmesine rehberlik edebilecek değerli içgörüler sağlar.

Link to this sectionMeta'da YZ: Robotikteki son yenilikler#

Meta'nın robotik alanındaki son çalışmaları, dokunma algısını, el becerisini ve insanlarla iş birliğini geliştirerek YZ'nin fiziksel dünyayla daha doğal bir şekilde etkileşime girmesine yardımcı olmaya odaklanıyor. Özellikle Meta Digit 360, robotlara gelişmiş bir dokunma hissi veren gelişmiş bir dokunsal sensördür. Sensörler, robotların doku, basınç ve hatta nesne şekilleri gibi detayları algılamasına yardımcı olur. Bu içgörülerden yola çıkarak robotlar nesneleri daha hassas bir şekilde tutabilir; bu da sağlık hizmetleri ve üretim gibi alanlarda çok önemlidir.

İşte Meta Digit 360'ın içerdiği temel özelliklerden bazıları:

• Geniş bir yelpazedeki dokunsal detayları yakalayabilmek için 18 farklı algılama özelliği ile donatılmıştır.
• Sensör, 1 milinewton kadar küçük basınç değişikliklerini algılayabilir ve böylece robotların ince dokulara ve hafif hareketlere yanıt vermesini sağlar.
• Parmak ucu yüzeyi boyunca 8 milyondan fazla taksel (küçük algılama noktası) içerir ve dokunma bilgilerinin yüksek çözünürlüklü bir haritasını sağlar.

Meta Digit 360'ın bir uzantısı, çeşitli dokunma sensörlerini tek bir robotik el üzerinde birleştiren bir platform olan Meta Digit Plexus'tur. Bu kurulum, robotların tıpkı insan ellerinin duyusal verileri toplaması gibi, birden fazla noktadan aynı anda dokunma bilgilerini işlemesini sağlar.

Şekil 5. Meta Digit Plexus.

Link to this sectionYZ'nin bir sonraki bölümü için sahneyi hazırlamak#

SAM 2.1 ve CoTracker3 ile bilgisayarlı görüdeki ilerlemelerden dil modelleri ve robotikteki yeni gelişmelere kadar Meta'nın en son YZ güncellemeleri, YZ'nin teoriden pratik, etkili çözümlere nasıl istikrarlı bir şekilde geçtiğini gösteriyor.

Bu araçlar, YZ'yi farklı alanlarda daha uyarlanabilir ve kullanışlı hale getirmek için tasarlanmıştır; karmaşık görselleri bölütlemekten insan dilini anlamaya ve hatta fiziksel alanlarda bizimle birlikte çalışmaya kadar her konuda yardımcı olur.

Erişilebilirliğe ve gerçek dünya uygulamalarına öncelik veren Meta FAIR, bizi YZ'nin gerçek dünya zorluklarını çözebileceği ve günlük yaşamımızı anlamlı şekillerde geliştirebileceği bir geleceğe yaklaştırıyor.

YZ hakkında meraklı mısın? En son güncellemeler ve içgörüler için topluluğumuza katıl ve GitHub depomuza göz at. Ayrıca bilgisayarlı görünün kendi kendine giden arabalar ve tarım gibi endüstrilerde nasıl kullanılabileceğini keşfedebilirsin!