Meta FAIR'dan yapay zekâ araştırma güncellemeleri: SAM 2.1 ve CoTracker3

Yapay zekâ (AI) araştırmaları hızla ilerliyor ve yeni atılımlar her zamankinden daha hızlı ortaya çıkıyor. Son birkaç haftada Meta’nın Temel AI Araştırmaları (FAIR) ekibi, farklı AI alanlarındaki zorlukların üstesinden gelmeyi amaçlayan bir dizi araç ve model tanıttı. Bu sürümler arasında sağlık hizmetleri, robotik ve artırılmış gerçeklik gibi çok farklı alanları etkileyebilecek güncellemeler de bulunuyor.

Örneğin, güncellenen SAM 2.1 modeli nesne segmentasyonu performansını iyileştirerek görüntü ve videolardaki nesneleri doğru biçimde tanımlayıp ayırmayı kolaylaştırıyor. CoTracker3 ise nokta takibine odaklanarak nesneler hareket ettiğinde veya kısmen engellendiğinde bile video karelerindeki noktaların izlenmesine yardımcı oluyor.

Meta ayrıca, verimli cihaz üzerinde kullanım için Llama dil modelinin daha hafif ve hızlı sürümlerini, robotik alanına yönelik yeni dokunsal algılama teknolojisiyle birlikte tanıttı. Bu makalede, Meta FAIR'in bu son sürümlerini ve her aracın sunduklarını ele alacağız.

Meta’nın geliştirilmiş Segment Anything Model’i: SAM 2.1#

Temel bir bilgisayarlı görü görevi olan nesne segmentasyonu, görüntü veya videodaki farklı nesneleri tanımlamayı ve birbirinden ayırmayı mümkün kılar; böylece belirli ilgi alanlarını analiz etmek kolaylaşır. Piyasaya sürülmesinden bu yana Meta'nın Segment Anything Model 2 (SAM 2) modeli, tıbbi görüntüleme ve meteoroloji gibi farklı alanlarda nesne segmentasyonu için kullanıldı. Topluluktan gelen geri bildirimler doğrultusunda Meta, orijinal modelde karşılaşılan bazı zorlukların üstesinden gelmek ve genel olarak daha yüksek performans sunmak üzere tasarlanan geliştirilmiş bir sürüm olan SAM 2.1 modelini tanıttı.

Şekil 1. SAM 2.1 Model Performans Kıyaslaması.

SAM 2.1, yeni veri artırma teknikleri sayesinde görsel olarak birbirine benzeyen ve daha küçük nesneleri daha iyi ele almak için güncellemeler içeriyor. Model, daha uzun video dizileriyle eğitilerek örtülme durumlarını da (nesnenin bazı kısımlarının görünmemesi) daha iyi ele alıyor; bu sayede nesneler geçici olarak engellenseler bile zaman içinde onları "hatırlayabiliyor" ve tanıyabiliyor. Örneğin, biri bir kişinin ağacın arkasından yürüdüğü bir videoyu çekiyorsa SAM 2.1, görüntü kısa süreliğine kesintiye uğradığında boşlukları doldurmak için nesnenin konumuna ve hareketine ilişkin belleğini kullanarak kişi ağacın diğer tarafından yeniden göründüğünde onu takip edebiliyor.

Bu güncellemelerin yanı sıra Meta, geliştiricilerin SAM 2.1'i kendi verileriyle ince ayar yapıp çeşitli uygulamalara entegre edebilmeleri için açık kaynaklı eğitim kodu ve eksiksiz demo altyapısı sağlayan SAM 2 Developer Suite'i yayımladı.

CoTracker3: Meta'nın izleme modeli, özellikleri ve güncellemeleri#

Bir diğer ilgi çekici bilgisayarlı görü görevi de nokta takibidir. Bu görev, bir videonun birden fazla karesi boyunca belirli noktaları veya özellikleri izlemeyi içerir. Bir parkurda bisiklet süren bir bisikletçinin videosunu düşün: nokta takibi, kask veya tekerlekler gibi bisikletçinin üzerindeki noktaları, engeller kısa süreliğine önlerini kapatsa bile modelin izlemesini sağlar.

Nokta izleme, 3B yeniden yapılandırma, robotik ve video düzenleme gibi uygulamalar için temel öneme sahiptir. Geleneksel modeller genellikle karmaşık kurulumlara ve büyük sentetik veri kümelerine dayanır; bu da gerçek dünya senaryolarında kullanıldıklarında etkinliklerini sınırlar.

Meta'nın CoTracker3 takip modeli, model mimarisini basitleştirerek bu sınırlamaları ele alıyor. Ayrıca modelin gerçek dünyadaki, açıklama eklenmemiş videolardan öğrenmesini sağlayan bir sözde etiketleme tekniği sunarak CoTracker3'ü pratik kullanım için daha verimli ve ölçeklenebilir hâle getiriyor.

Şekil 2. CoTracker3'ün Diğer İzleme Modelleriyle Karşılaştırması.

CoTracker3'ü öne çıkaran özelliklerden biri, örtülme durumlarını iyi yönetebilmesidir. Modelin takip edilen birden fazla nokta arasında bilgi paylaşmasını sağlayan çapraz izleme dikkati tekniğini kullanan CoTracker3, görünür noktalara başvurarak gizli noktaların konumlarını çıkarabiliyor. Bu sayede CoTracker3, kalabalık bir ortamda bir kişiyi takip etmek gibi dinamik ortamlarda son derece etkili olacak şekilde tasarlandı.

CoTracker3 hem çevrimiçi hem de çevrimdışı modlar sunuyor. Çevrimiçi mod gerçek zamanlı takip sağlarken çevrimdışı mod, video düzenleme veya animasyon gibi görevler için ideal olan, tüm video dizileri boyunca daha kapsamlı takip yapmak için kullanılabiliyor.

Meta FAIR'den diğer güncellemeler ve araştırmalar#

SAM 2.1 ve CoTracker3, Meta'nın bilgisayarlı görü alanındaki en yeni gelişmelerini ortaya koyarken doğal dil işleme (NLP) ve robotik gibi diğer yapay zekâ alanlarında da heyecan verici güncellemeler var. Meta FAIR'in diğer güncel gelişmelerinden bazılarına göz atalım.

Meta'nın Spirit LM'si: Dil ve çok modlu modellerde yapay zeka yenilikleri#

Meta'nın Spirit LM modeli, metin ve konuşma yeteneklerini birleştiren yeni bir çok modlu dil modelidir ve yapay zekâyla etkileşimleri daha doğal hissettirir. Yalnızca metin veya yalnızca konuşma işleyen geleneksel modellerden farklı olarak Spirit LM ikisi arasında geçiş yapabilir.

Spirit LM, dili daha insana benzer biçimlerde anlayıp üretebiliyor. Örneğin, hem sözlü hem de yazılı olarak dinleyip yanıt verebilen sanal asistanları geliştirebilir veya konuşma ile metin arasında dönüşüm yapan erişilebilirlik araçlarını destekleyebilir.

Şekil 3. Meta Spirit LM Kullanılarak Metinden Konuşmaya Dönüştürme Örneği.

Ayrıca Meta, büyük dil modellerini daha verimli hâle getiren teknikler geliştirdi. Layer Skip adı verilen bu tekniklerden biri, belirli bir görev için yalnızca gerekli katmanları etkinleştirerek hesaplama gereksinimlerini ve enerji maliyetlerini azaltmaya yardımcı oluyor. Bu, özellikle belleği ve gücü sınırlı cihazlardaki uygulamalar için kullanışlıdır.

Meta, yapay zekâ uygulamalarını bu tür cihazlarda dağıtma ihtiyacını bir adım ileri taşıyarak kuantize edilmiş Llama modellerinin sürümlerini de kullanıma sundu. Bu modeller, doğruluktan ödün vermeden mobil cihazlarda daha hızlı çalışacak şekilde sıkıştırıldı.

Meta Lingua ile optimizasyonun geleceğine bakış#

Yapay zekâ modelleri boyut ve karmaşıklık bakımından büyüdükçe eğitim süreçlerini optimize etmek kritik hâle geldi. Optimizasyon alanında Meta, büyük dil modellerinin eğitimini kolaylaştıran esnek ve verimli bir kod tabanı olan Meta Lingua'yı tanıttı. Meta Lingua'nın modüler tasarımı, araştırmacıların deneylerini hızla özelleştirip ölçeklendirmelerine olanak tanıyor.

Araştırmacılar teknik kurulum için daha az, doğrudan araştırma için daha fazla zaman harcayabilir. Kod tabanı ayrıca hafif ve kolay entegre edilebilir olduğundan hem küçük deneylere hem de büyük ölçekli projelere uygundur. Meta Lingua, bu teknik engelleri ortadan kaldırarak araştırmacıların daha hızlı ilerlemesine ve yeni fikirleri daha kolay sınamasına yardımcı oluyor.

Şekil 4. Meta Lingua'ya Genel Bakış.

Meta'nın yapay zeka güvenliğine yönelik geliştirmeleri#

Kuantum bilişim teknolojisi ilerledikçe veri güvenliği alanında yeni zorluklar ortaya çıkıyor. Günümüz bilgisayarlarından farklı olarak kuantum bilgisayarların karmaşık hesaplamaları çok daha hızlı çözebilmesi muhtemel. Bu da hassas bilgileri korumak için şu anda kullanılan şifreleme yöntemlerini potansiyel olarak kırabilecekleri anlamına geliyor. Bu nedenle bu alandaki araştırmalar giderek daha fazla önem kazanıyor: kuantum bilişimin geleceğine hazırlanırken verileri korumanın yeni yollarını geliştirmek büyük önem taşıyor.

Meta, bu sorunu ele almak için kuantum sonrası kriptografik güvenliği güçlendirmeyi amaçlayan Salsa adlı bir araç geliştirdi. Salsa, araştırmacıların yapay zekâ destekli saldırıları sınamasına ve olası zayıflıkları belirlemesine yardımcı olarak kriptografik sistemlerdeki güvenlik açıklarını daha iyi anlamalarını ve gidermelerini sağlıyor. Salsa, gelişmiş saldırı senaryolarını simüle ederek kuantum çağı için daha güçlü ve dayanıklı güvenlik önlemlerinin geliştirilmesine yön verebilecek değerli bilgiler sunuyor.

Meta'da yapay zeka: Robotikteki en son yenilikler#

Meta'nın robotik alanındaki son çalışmaları, dokunma algısını, el becerisini ve insanlarla iş birliğini geliştirerek yapay zekânın fiziksel dünyayla daha doğal etkileşim kurmasına yardımcı olmaya odaklanıyor. Özellikle Meta Digit 360, robotlara gelişmiş bir dokunma duyusu kazandıran gelişmiş bir dokunsal sensördür. Sensörler, robotların doku, basınç ve hatta nesne şekilleri gibi ayrıntıları algılamasına yardımcı oluyor. Bu bilgiler sayesinde robotlar nesneleri daha hassas biçimde tutabiliyor; bu, sağlık hizmetleri ve üretim gibi alanlarda kritik önem taşıyor.

Meta Digit 360'ın sunduğu temel özelliklerden bazıları şunlardır:

• Geniş bir dokunsal ayrıntı yelpazesini yakalamak için 18 farklı algılama özelliğiyle donatılmıştır.
• Sensör, 1 millinewton kadar küçük basınç değişikliklerini algılayabilir; bu da robotların ince dokulara ve küçük hareketlere tepki vermesini sağlar.
• Parmak ucu yüzeyinde 8 milyondan fazla taksel (küçük algılama noktası) bulunur ve bu sayede dokunma bilgilerinin yüksek çözünürlüklü bir haritası oluşturulur.

Meta Digit 360'ın bir uzantısı olan Meta Digit Plexus, çeşitli dokunma sensörlerini tek bir robotik ele entegre eden bir platformdur. Bu düzenek, robotların tıpkı insan ellerinin duyusal verileri toplaması gibi, dokunma bilgilerini aynı anda birden fazla noktadan işlemesini sağlar.

Şekil 5. Meta Digit Plexus.

Yapay zekanın yeni dönemine zemin hazırlamak#

Meta'nın bilgisayarlı görü alanında SAM 2.1 ve CoTracker3 ile sağlanan ilerlemelerden dil modelleri ve robotikteki yeni gelişmelere uzanan en son yapay zeka güncellemeleri, yapay zekanın kuramdan pratik ve etkili çözümlere doğru istikrarlı biçimde ilerlediğini gösteriyor.

Bu araçlar, karmaşık görüntüleri bölütlemeden insan dilini anlamaya ve hatta fiziksel ortamlarda yanımızda çalışmaya kadar pek çok alanda yapay zekayı daha uyarlanabilir ve kullanışlı hâle getirmek için tasarlandı.

Meta FAIR, erişilebilirliğe ve gerçek dünyadaki uygulamalara öncelik vererek yapay zekanın gerçek dünyadaki zorlukların üstesinden gelebileceği ve günlük yaşamımızı anlamlı biçimde iyileştirebileceği bir geleceğe bizi yaklaştırıyor.

Yapay zekaya ilgi duyuyor musun? En son güncellemeleri ve bilgileri almak için topluluğumuza katıl ve GitHub depomuza göz at. Bilgisayarlı görünün otonom araçlar ve tarım gibi sektörlerde nasıl kullanılabileceğini de keşfedebilirsin!