Meta FAIR'dan yapay zekâ araştırma güncellemeleri: SAM 2.1 ve CoTracker3

Yapay zekâ (AI), yeni yeniliklerin ve çığır açan gelişmelerin hiç olmadığı kadar hızlı ortaya çıktığı, son dönemde heyecan ve enerjiyle dolup taşan bir araştırma alanıdır. Son birkaç hafta içinde Meta'nın Temel Yapay Zekâ Araştırmaları (FAIR) ekibi, yapay zekânın farklı alanlarındaki zorlukların üstesinden gelmeyi amaçlayan bir dizi araç ve model tanıttı. Bu sürümler sağlık hizmetleri, robotik ve artırılmış gerçeklik gibi birbirinden farklı alanları etkileyebilecek güncellemeler içeriyor.

Örneğin güncellenen SAM 2.1 modeli, nesne segmentasyonunu iyileştirerek görüntülerde ve videolarda nesneleri doğru şekilde tanımlayıp ayırmayı kolaylaştırıyor. Bu sırada CoTracker3, nokta takibine odaklanarak nesneler hareket etse veya kısmen engellense bile video karelerindeki noktaların izlenmesine yardımcı oluyor.

Meta ayrıca verimli cihaz üzerinde kullanım için daha hafif ve hızlı Llama dil modeli sürümlerinin yanı sıra robotik için yeni dokunsal algılama teknolojisi de tanıttı. Bu makalede Meta FAIR'in en son sürümlerini ayrıntılı olarak inceleyerek her aracın sunduklarını ele alacağız. Haydi başlayalım!

Meta'nın geliştirilmiş Segment Anything Model'i: SAM 2.1#

Temel bir bilgisayarlı görü görevi olan nesne segmentasyonu, bir görüntü veya video içindeki farklı nesneleri tanımlayıp ayırmayı mümkün kılarak belirli ilgi alanlarının analizini kolaylaştırır. Meta'nın Segment Anything Model 2 (SAM 2) modeli, piyasaya sürülmesinden bu yana tıbbi görüntüleme ve meteoroloji gibi farklı alanlarda nesne segmentasyonu için kullanılıyor. Topluluktan gelen geri bildirimler doğrultusunda Meta, artık orijinal modelle karşılaşılan bazı zorlukların üstesinden gelmek ve genel performansı artırmak üzere tasarlanmış, geliştirilmiş bir sürüm olan SAM 2.1'i tanıttı.

Şekil 1. SAM 2.1 model performansı kıyaslaması.

SAM 2.1, yeni veri artırma teknikleri sayesinde görsel olarak benzer ve daha küçük nesneleri daha iyi ele alacak güncellemeler içeriyor. Ayrıca modelin örtülme durumlarını (bir nesnenin bazı kısımlarının görünümden gizlenmesi) ele alma biçimini, daha uzun video dizileriyle eğiterek iyileştiriyor; böylece nesneler geçici olarak engellense bile model zaman içinde onları "hatırlayıp" tanıyabiliyor. Örneğin biri bir kişinin video çekimini yaparken kişi bir ağacın arkasından yürüyorsa SAM 2.1, görünüm kısa süreliğine kesintiye uğradığında boşlukları nesnenin konumuna ve hareketine dair belleğini kullanarak kişinin diğer tarafta yeniden ortaya çıkmasını takip edebilir.

Bu güncellemelerin yanı sıra Meta, geliştiricilerin SAM 2.1'i kendi verileriyle ince ayarlayabilmesi ve çeşitli uygulamalara entegre edebilmesi için açık kaynaklı eğitim kodu ve eksiksiz demo altyapısı sunan SAM 2 Developer Suite'i yayımladı.

CoTracker3: Meta'nın takip modeli, özellikleri ve güncellemeleri#

Bir diğer ilgi çekici bilgisayarlı görü görevi, nokta takibidir. Bu görev, bir videonun birden fazla karesi boyunca belirli noktaları veya özellikleri izlemeyi içerir. Bir parkurda bisiklet süren bir bisikletçiyi gösteren bir video düşün: nokta takibi, bisikletçinin kaskı veya tekerlekleri gibi noktaları, bir anlığına engellerin arkasında gizlenseler bile modelin [izlemesini](https://ultralytics-translation-2.invalid sağlar.

Nokta takibi, 3B yeniden yapılandırma, robotik ve video düzenleme gibi uygulamalar için vazgeçilmezdir. Geleneksel modeller genellikle karmaşık kurulumlara ve büyük sentetik veri kümelerine dayanır; bu da gerçek dünya senaryolarına uygulandıklarında etkinliklerini sınırlar.

Meta'nın CoTracker3 takip modeli, model mimarisini sadeleştirerek bu sınırlamaların üstesinden geliyor. Ayrıca modelin gerçek, açıklanmamış videolardan öğrenmesini sağlayan bir sözde-etiketleme tekniği sunarak CoTracker3'ü pratik kullanım için daha verimli ve ölçeklenebilir hâle getiriyor.

Şekil 2. CoTracker3'ün diğer takip modelleriyle karşılaştırılması.

CoTracker3'ü öne çıkaran özelliklerden biri, örtülme durumlarını iyi yönetebilmesidir. Modelin birden fazla takip edilen nokta arasında bilgi paylaşmasını sağlayan çapraz takip dikkat mekanizmasını kullanan CoTracker3, görünür noktalara başvurarak gizli noktaların konumlarını çıkarabilir. Bu sayede CoTracker3, kalabalık bir sahnede bir kişiyi takip etmek gibi dinamik ortamlarda son derece etkili olacak şekilde tasarlanmıştır.

CoTracker3 ayrıca hem çevrim içi hem de çevrim dışı modlar sunuyor. Çevrim içi mod gerçek zamanlı takip sağlarken çevrim dışı mod, video düzenleme veya animasyon gibi görevler için ideal olan, tüm video dizileri boyunca daha kapsamlı takipte kullanılabilir.

Meta FAIR'den diğer güncellemeler ve araştırmalar#

SAM 2.1 ve CoTracker3, Meta'nın bilgisayarlı görü alanındaki en son gelişmelerini ortaya koyarken AI'nin diğer alanlarında da doğal dil işleme (NLP) ve robotik gibi heyecan verici güncellemeler bulunuyor. Şimdi Meta FAIR'in diğer güncel gelişmelerinden bazılarına göz atalım.

Meta'nın Spirit LM'i: Dil ve çok modlu modellerde yapay zekâ yenilikleri#

Meta'nın Spirit LM'i, metin ve konuşma yeteneklerini birleştiren yeni bir çok modlu dil modelidir ve AI ile etkileşimleri daha doğal hissettirir. Yalnızca metni veya yalnızca konuşmayı işleyen geleneksel modellerin aksine Spirit LM, ikisi arasında sorunsuzca geçiş yapabilir.

Spirit LM, dil anlayıp üretebilir ve bunu daha insansı bir biçimde yapar. Örneğin hem dinleyip hem de sözlü veya yazılı dilde yanıt verebilen sanal asistanları geliştirebilir ya da konuşma ile metin arasında dönüşüm yapan erişilebilirlik araçlarını destekleyebilir.

Şekil 3. Meta Spirit LM kullanılarak metinden konuşmaya dönüştürme örneği.

Ayrıca Meta, büyük dil modellerini daha verimli hâle getirmek için teknikler geliştirdi. Layer Skip adı verilen bu tekniklerden biri, belirli bir görev için yalnızca gerekli katmanları etkinleştirerek hesaplama gereksinimlerini ve enerji maliyetlerini azaltmaya yardımcı oluyor. Bu, sınırlı belleğe ve güce sahip cihazlardaki uygulamalar için özellikle kullanışlıdır.

Bu tür cihazlarda AI uygulamalarını dağıtma ihtiyacını bir adım daha ileri taşıyan Meta, Llama modellerinin nicemlenmiş sürümlerini de kullanıma sundu. Bu modeller, mobil cihazlarda doğruluktan ödün vermeden daha hızlı çalışmak üzere sıkıştırılmıştır.

Meta Lingua ile optimizasyonun geleceğine bir bakış#

AI modelleri boyut ve karmaşıklık açısından büyüdükçe eğitim süreçlerini optimize etmek kritik hâle geldi. Optimizasyon alanında Meta, büyük dil modellerini eğitmeyi kolaylaştıran esnek ve verimli bir kod tabanı olan Meta Lingua'yı tanıttı. Meta Lingua'nın modüler tasarımı, araştırmacıların deneylerini hızlıca özelleştirip ölçeklendirmesine olanak tanıyor.

Araştırmacılar teknik kuruluma daha az, gerçek araştırmaya ise daha fazla zaman ayırabilir. Kod tabanı aynı zamanda hafif ve kolayca entegre edilebilir olduğundan hem küçük deneyler hem de büyük ölçekli projeler için uygundur. Meta Lingua, bu teknik engelleri ortadan kaldırarak araştırmacıların daha hızlı ilerlemesine ve yeni fikirleri daha kolay test etmesine yardımcı olur.

Şekil 4. Meta Lingua'ya genel bakış.

Meta'nın yapay zekâ güvenliğindeki geliştirmeleri#

Kuantum bilişim teknolojisi ilerledikçe veri güvenliği açısından yeni zorluklar ortaya çıkarıyor. Günümüz bilgisayarlarından farklı olarak kuantum bilgisayarların karmaşık hesaplamaları çok daha hızlı çözebilmesi muhtemel. Bu da hassas bilgileri korumak için şu anda kullanılan şifreleme yöntemlerini potansiyel olarak kırabilecekleri anlamına geliyor. Bu nedenle bu alandaki araştırmalar giderek daha önemli hâle geliyor; kuantum bilişimin geleceğine hazırlanırken verileri korumanın yeni yollarını geliştirmek büyük önem taşıyor.

Meta, bu sorunu ele almak için kuantum sonrası kriptografik güvenliği güçlendirmeyi amaçlayan Salsa adlı bir araç geliştirdi. Salsa, araştırmacıların yapay zekâ destekli saldırıları test etmesine ve olası zayıflıkları belirlemesine yardımcı olarak kriptografik sistemlerdeki güvenlik açıklarını daha iyi anlamalarını ve ele almalarını sağlıyor. Gelişmiş saldırı senaryolarını simüle eden Salsa, kuantum çağı için daha güçlü ve dayanıklı güvenlik önlemlerinin geliştirilmesine rehberlik edebilecek değerli bilgiler sunuyor.

Meta'da yapay zekâ: Robotikte en son yenilikler#

Meta'nın robotik alanındaki son çalışmaları; dokunma algısını, el becerisini ve insanlarla iş birliğini geliştirerek AI'ın fiziksel dünyayla daha doğal etkileşim kurmasına yardımcı olmaya odaklanıyor. Özellikle Meta Digit 360, robotlara gelişmiş bir dokunma duyusu kazandıran ileri düzey bir dokunsal sensördür. Sensörler, robotların doku, basınç ve hatta nesne şekilleri gibi ayrıntıları algılamasına yardımcı olur. Robotlar bu bilgiler sayesinde nesneleri daha hassas şekilde kavrayabilir; bu da sağlık hizmetleri ve üretim gibi alanlarda kritik önem taşır.

Meta Digit 360'ın sunduğu temel özelliklerden bazıları şunlardır:

• Geniş bir dokunsal ayrıntı yelpazesini yakalayabilmek için 18 farklı algılama özelliğiyle donatılmıştır.
• Sensör, 1 milinewton kadar küçük basınç değişikliklerini algılayarak robotların ince dokulara ve hassas hareketlere tepki vermesini sağlar.
• Parmak ucu yüzeyine dağılmış 8 milyondan fazla taksel (küçük algılama noktası) içerir ve dokunma bilgilerini yüksek çözünürlüklü bir harita olarak sunar.

Meta Digit 360'ın bir uzantısı olan Meta Digit Plexus, çeşitli dokunma sensörlerini tek bir robotik el üzerinde birleştiren bir platformdur. Bu kurulum, robotların tıpkı insan ellerinin duyusal verileri toplaması gibi, birden fazla noktadan gelen dokunma bilgilerini aynı anda işlemesine olanak tanır.

Şekil 5. Meta Digit Plexus.

Yapay zekânın bir sonraki bölümüne zemin hazırlamak#

Meta'nın SAM 2.1 ve CoTracker3 ile bilgisayarlı görü alanındaki gelişmelerden dil modelleri ve robotikteki yeni gelişmelere kadar uzanan en son AI güncellemeleri, AI'ın teoriden pratik ve etkili çözümlere doğru istikrarlı biçimde ilerlediğini gösteriyor.

Bu araçlar, AI'ı farklı alanlarda daha uyarlanabilir ve kullanışlı hâle getirmek üzere tasarlanmıştır; karmaşık görüntüleri segmentlere ayırmaktan insan dilini anlamaya ve hatta fiziksel ortamlarda bizimle birlikte çalışmaya kadar pek çok konuda yardımcı olur.

Meta FAIR, erişilebilirliği ve gerçek dünya uygulamalarını önceliklendirerek AI'ın gerçek dünya zorluklarının üstesinden gelebildiği ve günlük yaşamlarımızı anlamlı biçimde iyileştirdiği bir geleceğe yaklaşmamıza yardımcı oluyor.

AI'a meraklı mısın? En son güncellemeler ve içgörüler için topluluğumuza katıl ve GitHub depomuza göz at. Ayrıca bilgisayarlı görünün otonom araçlar ve tarım gibi sektörlerde nasıl kullanılabileceğini de keşfedebilirsin!