Meta FAIR'den yapay zeka araştırma güncellemeleri: SAM 2.1 ve CoTracker3

Yapay zeka (AI), yeni yenilikler ve çığır açan gelişmelerin her zamankinden daha hızlı ortaya çıkmasıyla son zamanlarda heyecan ve enerjiyle kaynayan bir araştırma alanıdır. Geçtiğimiz birkaç hafta içinde Meta’nın Temel Yapay Zeka Araştırmaları (FAIR) ekibi, yapay zekanın farklı alanlarındaki zorlukların üstesinden gelmeyi amaçlayan bir dizi araç ve model tanıttı. Bu sürümler; sağlık hizmetleri, robotik ve artırılmış gerçeklik gibi çok farklı alanları etkileyebilecek güncellemeler içeriyor.

Örneğin, güncellenen SAM 2.1 modeli nesne segmentasyonunu geliştirerek görseller ve videolardaki nesneleri doğru bir şekilde tanımlamayı ve ayırmayı kolaylaştırıyor. Bu sırada CoTracker3, nokta takibine odaklanarak, nesneler hareket etse veya kısmen engense bile video karelerindeki noktaların takip edilmesine yardımcı oluyor.

Meta ayrıca verimli cihaz içi kullanım için Llama dil modelinin daha hafif, daha hızlı sürümlerini ve robotik için yeni dokunma algılama teknolojisini tanıttı. Bu makalede, her aracın sunduğu özelliklere bakarak Meta FAIR'in bu son sürümlerini ele alacağız. Hadi başlayalım!

Meta'nın geliştirilmiş Segment Anything Model'i: SAM 2.1#

Önemli bir bilgisayarlı görü görevi olan nesne segmentasyonu, bir görsel veya video içindeki farklı nesnelerin tanımlanmasını ve ayrılmasını mümkün katarak ilgi çekici belirli alanların analiz edilmesini kolaylaştırır. Çıkışından bu yana Meta’nın Segment Anything Model 2 (SAM 2) modeli, tıbbi görüntüleme ve meteoroloji gibi farklı alanlarda nesne segmentasyonu için kullanılmıştır. Topluluktan gelen geri bildirimleri temel alan Meta, orijinal modelde karşılaşılan bazı zorlukların üstesinden gelmek ve genel olarak daha güçlü bir performans sunmak için tasarlanmış iyileştirilmiş bir sürüm olan SAM 2.1'i kullanıma sundu.

Şekil 1. SAM 2.1 Model Performans Kıyaslaması.

SAM 2.1, yeni veri artırma teknikleri sayesinde görsel olarak benzer ve daha küçük nesneleri daha iyi ele almak için güncellemeler içerir. Ayrıca, modelin daha uzun video dizileri üzerinde eğitilmesiyle tıkanma (bir nesnenin parçalarının görünümden gizlendiği durumlar) ile nasıl başa çıktığını geliştirerek, görünüm kısa süreliğine kesintiye uğrasa bile nesnenin konumu ve hareketi hakkındaki hafızasını kullanarak nesneleri zaman içinde "hatırlamasını" ve tanımasını sağlar. Örneğin, biri bir ağacın arkasından yürüyen bir kişinin videosunu çekiyorsa, SAM 2.1 kişi diğer tarafta yeniden belirdiğinde onu takip edebilir.

Bu güncellemelerin yanı sıra Meta, geliştiricilerin SAM 2.1'i kendi verileriyle ince ayar yapabilmeleri ve çeşitli uygulamalara entegre edebilmeleri için açık kaynaklı eğitim kodu ve eksiksiz demo altyapısı sağlayan SAM 2 Developer Suite'i yayınladı.

CoTracker3: Meta'nın takip modeli ile özellikleri ve güncellemeleri#

Bir diğer ilginç bilgisayarlı görü görevi de nokta takibidir. Bu görev, bir videodaki birden fazla kare boyunca belirli noktaları veya özellikleri takip etmeyi içerir. Bir pistte bisiklet süren bir bisikletçinin videosunu düşünün; nokta takibi, engeller tarafından bir an için gizlenseler bile kask veya tekerlekler gibi bisikletçi üzerindeki noktaları takip etmesini sağlar.

Nokta takibi; 3B rekonstrüksiyon, robotik ve video düzenleme gibi uygulamalar için esastır. Geleneksel modeller genellikle gerçek dünya senaryolarına uygulandıklarındaki etkinliklerini sınırlayan karmaşık kurulumlara ve büyük sentetik veri kümelerine dayanır.

Meta’nın CoTracker3 takip modeli, modelin mimarisini basitleştirerek bu sınırlamaları ele alır. Ayrıca, modelin gerçek ve etiketlenmemiş videolardan öğrenmesini sağlayan ve CoTracker3'ü pratik kullanım için daha verimli ve ölçeklenebilir kılan bir sözde etiketleme tekniği sunar.

Şekil 2. CoTracker3'ün Diğer Takip Modelleriyle Karşılaştırılması.

CoTracker3'ü öne çıkaran özelliklerden biri, tıkanmalarla iyi bir şekilde başa çıkabilmesidir. Modelin birden fazla takip edilen nokta arasında bilgi paylaşmasını sağlayan bir teknik olan çapraz izleme dikkati (cross-track attention) kullanan CoTracker3, görünür noktalara referans vererek gizli noktaların konumlarını çıkarabilir. Bu sayede CoTracker3, kalabalık bir sahnede bir kişiyi takip etmek gibi dinamik ortamlarda oldukça etkili olacak şekilde tasarlanmıştır.

CoTracker3 ayrıca hem çevrimiçi hem de çevrimdışı modlar sunar. Çevrimiçi mod gerçek zamanlı takip sağlarken, çevrimdışı mod tüm video dizileri boyunca daha kapsamlı takip için kullanılabilir; bu da video düzenleme veya animasyon gibi görevler için idealdir.

Meta FAIR'den diğer güncellemeler ve araştırmalar#

SAM 2.1 ve CoTracker3, Meta’nın bilgisayarlı görü alanındaki son gelişmelerini sergilerken, doğal dil işleme (NLP) ve robotik gibi yapay zekanın diğer alanlarında da heyecan verici güncellemeler var. Gelin Meta FAIR'in diğer son gelişmelerinden bazılarına göz atalım.

Meta Spirit LM: Dil ve Çok Modlu Modellerde YZ Yenilikleri#

Meta’nın Spirit LM modeli, metin ve konuşma yeteneklerini birleştiren ve yapay zeka ile etkileşimleri daha doğal hissettiren yeni bir çok modlu dil modelidir. Yalnızca metin veya yalnızca konuşma işleyen geleneksel modellerin aksine Spirit LM, ikisi arasında sorunsuz bir şekilde geçiş yapabilir.

Spirit LM, dili daha insansı hissettiren şekillerde anlayabilir ve üretebilir. Örneğin, hem konuşma hem de yazılı dilde dinleyip yanıt verebilen sanal asistanları geliştirebilir veya konuşma ile metin arasında dönüştürme yapan erişilebilirlik araçlarını destekleyebilir.

Şekil 3. Meta Spirit LM Kullanarak Metinden Konuşmaya Dönüştürme Örneği.

Dahası Meta, büyük dil modellerini daha verimli hale getirmek için teknikler geliştirmiştir. Layer Skip adı verilen bunlardan biri, yalnızca belirli bir görev için gerekli olan katmanları etkinleştirerek hesaplama ihtiyaçlarını ve enerji maliyetlerini azaltmaya yardımcı olur. Bu, özellikle sınırlı belleğe ve güce sahip cihazlardaki uygulamalar için çok faydalıdır.

Taking the need to deploy AI applications on such devices a step further, Meta has also rolled out quantized versions of its Llama models. These models are compressed to run faster on mobile devices without sacrificing accuracy.

Meta Lingua ile optimizasyonun geleceğine bir bakış#

Yapay zeka modelleri boyut ve karmaşıklık açısından büyüdükçe, eğitim süreçlerini optimize etmek çok önemli hale gelmiştir. Optimizasyon açısından Meta, büyük dil modellerinin eğitimini kolaylaştıran esnek ve verimli bir kod tabanı olan Meta Lingua'yı tanıttı. Meta Lingua'nın modüler tasarımı, araştırmacıların deneylerini hızlı bir şekilde özelleştirmesine ve ölçeklendirmesine olanak tanır.

Araştırmacılar teknik kurulara daha az, gerçek araştırmaya daha çok zaman ayırabilir. Kod tabanı ayrıca hafiftir ve entegre edilmesi kolaydır, bu da onu hem küçük çaplı deneyler hem de büyük ölçekli projeler için uygun hale getirir. Bu teknik engelleri ortadan kaldıran Meta Lingua, araştırmacıların daha hızlı ilerleme kaydetmesine ve yeni fikirleri daha büyük bir kolaylıkla test etmesine yardımcı olur.

Şekil 4. Meta Lingua'ya Genel Bakış.

Meta'nın YZ güvenliğindeki iyileştirmeleri#

Kuantum bilişim teknolojisi ilerledikçe veri güvenliğine yeni zorluklar getiriyor. Günümüz bilgisayarlarının aksine kuantum bilgisayarların karmaşık hesaplamaları çok daha hızlı çözebilmesi muhtemeldir. Bu, hassas bilgileri korumak için şu anda kullanılan şifreleme yöntemlerini potansiyel olarak kırabilecekleri anlamına gelir. Bu yüzden bu alandaki araştırmalar giderek daha önemli hale geliyor; kuantum bilişimin geleceğine hazırlanırken verileri korumanın yeni yollarını geliştirmek esastır.

Bunu ele almak için Meta, kuantum sonrası kriptografik güvenliği güçlendirmeyi amaçlayan bir araç olan Salsa'yı geliştirdi. Salsa, araştırmacıların yapay zeka destekli saldırıları test etmesine ve potansiyel zayıflıkları belirlemesine yardımcı olarak kriptografik sistemlerdeki güvenlik açıkları daha iyi anlamalarını ve gidermelerini sağlar. Gelişmiş saldırı senaryolarını simüle eden Salsa, kuantum çağında daha güçlü ve daha dayanıklı güvenlik önlemlerinin geliştirilmesine rehberlik edebilecek değerli içgörüler sunar.

Meta'da YZ: Robotikteki son yenilikler#

Meta’nın robotik alanındaki son çalışması, dokunma algısını, el becerisini ve insanlarla iş birliğini geliştirerek yapay zekanın fiziksel dünya ile daha doğal bir şekilde etkileşime girmesine yardımcı olmaya odaklanıyor. Özellikle Meta Digit 360, robotlara gelişmiş bir dokunma hissi veren gelişmiş bir dokunma sensörüdür. Sensörler, robotların doku, basınç ve hatta nesne şekilleri gibi detayları algılamasına yardımcı olur. Bu içgörülerden yola çıkarak robotlar nesneleri daha yüksek hassasiyetle tutabilir; bu da sağlık hizmetleri ve üretim gibi alanlarda çok önemlidir.

İşte Meta Digit 360'ın içerdiği temel özelliklerden bazıları:

• Geniş bir yelpazedeki dokunsal detayları yakalayabilmek için 18 farklı algılama özelliği ile donatılmıştır.
• Sensör, 1 milinewton kadar küçük basınç değişikliklerini algılayabilir ve böylece robotların ince dokulara ve hafif hareketlere yanıt vermesini sağlar.
• Parmak ucu yüzeyi boyunca 8 milyondan fazla taksel (küçük algılama noktası) içerir ve dokunma bilgilerinin yüksek çözünürlüklü bir haritasını sağlar.

Meta Digit 360'ın bir uzantısı, çeşitli dokunma sensörlerini tek bir robotik el üzerinde birleştiren bir platform olan Meta Digit Plexus'tur. Bu kurulum, robotların tıpkı insan ellerinin duyusal verileri toplaması gibi, birden fazla noktadan aynı anda dokunma bilgilerini işlemesini sağlar.

Şekil 5. Meta Digit Plexus.

YZ'nin bir sonraki bölümü için sahneyi hazırlamak#

SAM 2.1 ve CoTracker3 ile bilgisayarlı görüdeki ilerlemelerden dil modelleri ve robotikteki yeni gelişmelere kadar Meta'nın en son YZ güncellemeleri, YZ'nin teoriden pratik, etkili çözümlere nasıl istikrarlı bir şekilde geçtiğini gösteriyor.

Bu araçlar, YZ'yi farklı alanlarda daha uyarlanabilir ve kullanışlı hale getirmek için tasarlanmıştır; karmaşık görselleri bölütlemekten insan dilini anlamaya ve hatta fiziksel alanlarda bizimle birlikte çalışmaya kadar her konuda yardımcı olur.

Erişilebilirliğe ve gerçek dünya uygulamalarına öncelik veren Meta FAIR, bizi YZ'nin gerçek dünya zorluklarını çözebileceği ve günlük yaşamımızı anlamlı şekillerde geliştirebileceği bir geleceğe yaklaştırıyor.

Yapay zekayı merak ediyor musun? En son güncellemeler ve içgörüler için topluluğumuza katıl ve GitHub depomuza göz at. Ayrıca bilgisayarlı görü'nün sürücüsüz arabalar ve tarım gibi endüstrilerde nasıl kullanılabileceğini keşfedebilirsin!