Google'ın PaliGemma 2'si: Gelişmiş VLM modellerine dair bilgiler

Google, 5 Aralık 2024'te görsel-dil modelinin (VLM) en yeni sürümü olan PaliGemma 2'yi tanıttı. PaliGemma 2; resim açıklamaları oluşturma, görsel soruları yanıtlama ve görsellerdeki nesneleri algılama gibi görüntü ve metni birleştiren görevleri yerine getirmek üzere tasarlandı.

Çok dilli açıklama oluşturma ve nesne tanıma konusunda zaten güçlü bir araç olan ilk PaliGemma'yı temel alan PaliGemma 2, birkaç önemli iyileştirme sunuyor. Bunlar arasında daha büyük model boyutları, daha yüksek çözünürlüklü görüntü desteği ve karmaşık görsel görevlerde daha iyi performans yer alıyor. Bu geliştirmeler modeli geniş bir kullanım yelpazesinde daha esnek ve etkili hâle getiriyor.

Bu makalede PaliGemma 2'ye daha yakından bakacak; nasıl çalıştığını, temel özelliklerini ve öne çıktığı uygulamaları inceleyeceğiz.

Gemma 2'den PaliGemma 2'ye#

PaliGemma 2, iki temel teknoloji üzerine kurulu: SigLIP görsel kodlayıcısı ve Gemma 2 dil modeli. SigLIP kodlayıcısı, görüntüler veya videolar gibi görsel verileri işler ve modelin analiz edebileceği özelliklere dönüştürür. Gemma 2 ise metinleri işleyerek modelin çok dilli dili anlamasını ve üretmesini sağlar. Birlikte, görsel ve metinsel bilgileri yorumlayıp ilişkilendirmek üzere tasarlanmış bir VLM oluştururlar.

PaliGemma 2'yi önemli bir ilerleme hâline getiren özellikler, ölçeklenebilirliği ve çok yönlülüğüdür. İlk sürümden farklı olarak PaliGemma 2 üç boyutta sunulur: 3 milyar (3B), 10 milyar (10B) ve 28 milyar (28B) parametre. Bu parametreler, modelin verileri etkili biçimde öğrenmesine ve işlemesine yardımcı olan dahili ayarlar gibidir. Ayrıca farklı görüntü çözünürlüklerini de destekler (ör. hızlı görevler için 224 x 224 piksel, ayrıntılı analiz için 896 x 896); bu da onu çeşitli uygulamalara uyarlanabilir kılar.

Şekil 1. PaliGemma 2'ye Genel Bakış.

Gemma 2'nin gelişmiş dil yeteneklerini SigLIP'in görüntü işleme becerileriyle birleştirmek, PaliGemma 2'nin kapasitesini önemli ölçüde artırıyor. Model şu tür görevleri yerine getirebilir:

• Görüntü veya videolara başlık ekleme: Model, görsellerin ayrıntılı metinsel açıklamalarını üretebilir; bu da otomatik olarak başlık oluşturmak için kullanışlıdır.
• Görsel soru yanıtlama: PaliGemma 2; bir sahnedeki nesneleri, kişileri veya eylemleri belirleme gibi, görüntülere dayalı soruları yanıtlayabilir.
• Nesne tanıma: Bir görüntüdeki nesneleri tanır ve etiketler; örneğin bir fotoğraftaki kedi, masa veya araba arasındaki farkı belirler.

PaliGemma 2, görüntü ve metni ayrı ayrı işlemenin ötesine geçerek bunları anlamlı biçimlerde bir araya getirir. Örneğin, “Kedi masada oturuyor” ifadesini tanımak gibi bir sahnedeki ilişkileri anlayabilir veya ünlü bir simge yapıyı tanımak gibi bağlam eklerken nesneleri belirleyebilir.

Google'ın PaliGemma 2 VLM modelleri nasıl çalışır?#

Ardından, PaliGemma 2'nin görsel ve metinsel verileri nasıl işlediğini daha iyi anlamak için aşağıdaki görselde gösterilen grafiği kullanarak bir örneği inceleyeceğiz. Bu grafiği yükleyip modele “Bu grafik neyi gösteriyor?” diye sorduğunu varsayalım.

Şekil 2. PaliGemma 2'nin yeteneklerine bir örnek.

Süreç, PaliGemma 2'nin SigLIP görsel kodlayıcısının görüntüleri analiz edip temel özellikleri çıkarmasıyla başlar. Bir grafikte bu işlem, eksenler, veri noktaları ve etiketler gibi öğelerin belirlenmesini kapsar. Kodlayıcı, hem genel örüntüleri hem de ince ayrıntıları yakalayacak şekilde eğitilir. Görüntüye gömülü metinleri algılamak ve işlemek için optik karakter tanımadan (OCR) da yararlanır. Bu görsel özellikler, modelin işleyebileceği sayısal gösterimler olan belirteçlere dönüştürülür. Ardından doğrusal izdüşüm katmanı kullanılarak belirteçler ayarlanır; bu teknik, belirteçlerin metinsel verilerle birleştirilebilmesini sağlar.

Aynı anda Gemma 2 dil modeli, anlamını ve amacını belirlemek için eşlik eden sorguyu işler. Sorgudaki metin belirteçlere dönüştürülür ve bunlar SigLIP'ten gelen görsel belirteçlerle birleştirilerek görsel ve metinsel verileri birbirine bağlayan birleşik bir biçim olan çok modlu bir temsil oluşturulur.

PaliGemma 2, bu bütünleşik temsili kullanarak otoregresif kod çözme yöntemiyle adım adım yanıt üretir. Bu yöntemde model, daha önce işlediği bağlama göre yanıtın bir bölümünü her seferinde bir parça olacak şekilde tahmin eder.

PaliGemma 2'nin temel yetenekleri#

Nasıl çalıştığını ele aldığımıza göre, PaliGemma 2'yi güvenilir bir görsel-dil modeli yapan temel özellikleri inceleyelim:

• İnce ayar esnekliği: Belirli veri kümelerine ve görevlere kolayca uyum sağlar; resim açıklaması oluşturma, uzamsal akıl yürütme ve tıbbi görüntüleme gibi uygulamalarda başarılı performans gösterir.
• Çeşitli eğitim verileri: WebLI ve Open Images gibi veri kümeleriyle eğitilmiştir; bu sayede güçlü nesne tanıma becerileri ve çok dilli çıktı üretme yetenekleri sunar.
• OCR entegrasyonu: Görüntülerdeki metni çıkarmak ve yorumlamak için optik karakter tanımayı içerir; bu özelliğiyle belge analizi ve metin tabanlı diğer görevler için idealdir.
• Çok dilli çıktılar: Birden fazla dilde başlık ve yanıt üretir; bu yönüyle küresel uygulamalar için idealdir.
• Araçlarla entegrasyon: Hugging Face Transformers, PyTorch ve Keras gibi çerçevelerle uyumludur; böylece kolay dağıtım ve deneme olanağı sağlar.

PaliGemma 2 ve PaliGemma karşılaştırması: Neler iyileştirildi?#

PaliGemma'nın ilk sürümünün mimarisine göz atmak, PaliGemma 2'deki iyileştirmeleri görmenin iyi bir yoludur. En dikkat çekici değişikliklerden biri, özgün Gemma dil modelinin yerini Gemma 2'nin almasıdır; bu, hem performans hem de verimlilik açısından önemli iyileştirmeler getirir.

2B, 9B ve 27B parametre boyutlarında sunulan Gemma 2, dağıtım maliyetlerini azaltırken sınıfının en iyi doğruluğunu ve hızını sunmak üzere tasarlandı. Bunu, güçlü GPU'lardan daha erişilebilir yapılandırmalara kadar çeşitli donanım kurulumlarında çıkarım verimliliği için optimize edilmiş, yeniden tasarlanmış bir mimariyle başarıyor.

Şekil 3. PaliGemma'nın ilk sürümüne geriye dönüp bakış.

Sonuç olarak PaliGemma 2 oldukça doğru bir modeldir. PaliGemma 2'nin 10B sürümü, ilk modelin 34,3 puanına kıyasla 20,3'lük daha düşük bir Çelişmeyen Cümle (NES) puanına ulaşır; bu da çıktılarında daha az olgusal hata olduğu anlamına gelir. Bu gelişmeler, PaliGemma 2'yi ayrıntılı açıklama oluşturmadan görsel soruları yanıtlamaya kadar daha geniş bir uygulama yelpazesinde daha ölçeklenebilir, hassas ve uyarlanabilir kılıyor. Gemma 4 26B gibi Google'ın daha yeni Gemma 4 modelleri, gerçek dünyadaki nesne algılama performansı bakımından VLM Liderlik Tablosu'nda diğer görsel-dil modelleriyle karşılaştırılıyor.

PaliGemma 2 uygulamaları: VLM modellerinin gerçek dünyadaki kullanım alanları#

PaliGemma 2, görsel ve dil anlama yeteneklerini bir araya getirdiği için birçok sektörde kullanılabilir. Örneğin erişilebilirlik açısından nesnelerin, sahnelerin ve uzamsal ilişkilerin ayrıntılı açıklamalarını oluşturarak görme engelli kişilere önemli ölçüde yardımcı olabilir. Bu yetenek, kullanıcıların çevrelerini daha iyi anlamasına ve günlük işlerini daha bağımsız şekilde yapmasına yardımcı olur.

Şekil 4. PaliGemma 2 dünyayı daha erişilebilir bir yer hâline getirebilir.

Erişilebilirliğin yanı sıra PaliGemma 2, aşağıdakiler dâhil çeşitli sektörlerde etki yaratıyor:

• E-ticaret: Model, görüntülerdeki ürünleri analiz edip açıklayarak ürün kategorilendirmesini geliştirir; bu da envanter yönetimini kolaylaştırır ve kullanıcıların arama deneyimini iyileştirir.
• Sağlık hizmetleri: X-ışınları ve MRI gibi tıbbi görüntüleri klinik notlarla birlikte yorumlayarak sağlık profesyonellerini destekler ve daha doğru, bilgiye dayalı teşhisler konmasına yardımcı olur.
• Eğitim: PaliGemma 2, görseller için açıklama metinleri oluşturarak ve bağlamsal bilgiler sunarak eğitimcilerin açıklayıcı ve erişilebilir öğrenme materyalleri hazırlamasına yardımcı olur.
• İçerik Oluşturma: Model, multimedya içerikleri için açıklama metinleri ve görsel betimlemeler oluşturma sürecini otomatikleştirerek içerik üreticilerinin zamandan tasarruf etmesini sağlar.

Kendin dene: PaliGemma 2#

PaliGemma 2'yi denemek için Hugging Face'in etkileşimli demosuyla başlayabilirsin. Bu demo, görsel açıklama ve görsel soru yanıtlama gibi görevlerde modelin yeteneklerini keşfetmeni sağlar. Bir görsel yüklemen, ardından modele görselle ilgili sorular sorman veya sahnenin açıklamasını istemen yeterli.

Şekil 5. PaliGemma 2 demosu (Kaynak: Hugging Face).

Daha derinlemesine incelemek istersen, uygulamalı olarak başlamanın yolları şöyle:

• Önceden eğitilmiş modeller: Önceden eğitilmiş modellere ve kodlara Hugging Face ve Kaggle gibi platformlardan erişebilirsin. Bu kaynaklar, modelle çalışmaya başlamak için ihtiyacın olan her şeyi sunar.
• Not defterleri: PaliGemma 2'yi tanımanı sağlayacak kapsamlı belgeler ve örnek not defterleri bulunuyor. Çıkarım örnekleriyle başlayabilir ve belirli görevler için modeli kendi veri kümen üzerinde ince ayar yaparak deneyebilirsin.
• Entegrasyonlar: PaliGemma 2; Hugging Face Transformers, Keras, PyTorch, JAX ve Gemma.cpp gibi yaygın kullanılan çerçevelerle uyumludur, bu sayede modeli mevcut iş akışlarına entegre edebilirsin.

Google'ın PaliGemma 2 modelinin artıları ve eksileri#

PaliGemma 2 ile çalışmaya nasıl başlayacağını ele aldığımıza göre, şimdi bu modelleri kullanırken göz önünde bulundurman gereken temel güçlü ve zayıf yönlerine yakından bakalım.

PaliGemma 2'yi bir görsel-dil modeli olarak öne çıkaran özellikler şunlar:

• Verimlilik artışı: Gemma 2'nin optimize edilmiş mimarisinden yararlanan PaliGemma 2, dağıtım maliyetlerini en aza indirirken yüksek performans sunar.
• Geliştirilmiş güvenlik özellikleri: PaliGemma 2, yanlılığı azaltmak için ön eğitim verilerini güçlü biçimde filtreleme ve güvenlik ölçütlerine göre titiz değerlendirme gibi önemli güvenlik iyileştirmelerini eğitim sürecine dahil eder.
• Küçük yapılandırmalarda düşük gecikme: 3B model daha hızlı çıkarım süreleri sunar; bu da onu hızın kritik olduğu e-ticaret ürün önerileri veya canlı destek sistemleri gibi kullanım alanları için uygun hâle getirir.

Öte yandan, PaliGemma 2'nin sınırlamalarla karşılaşabileceği bazı alanlar da var:

• Gecikme: Güçlü olmalarına rağmen büyük modeller, özellikle gerçek zamanlı etkileşimli yapay zekâ sistemleri gibi anında yanıt gerektiren görevlerde kullanıldığında gecikme sorunları yaşayabilir.
• Büyük veri kümelerine bağımlılık: PaliGemma 2'nin performansı, eğitim veri kümelerinin kalitesi ve çeşitliliğiyle yakından ilişkilidir. Bu durum, yeterince temsil edilmeyen alanlarda veya eğitim verilerinde yer almayan dillerdeki etkinliğini sınırlayabilir.
• Yüksek kaynak gereksinimleri: Yapılan optimizasyonlara rağmen, 10B ve 28B parametreli sürümler önemli miktarda işlem gücü gerektiriyor; bu da sınırlı kaynaklara sahip küçük kuruluşların bu sürümlere erişmesini zorlaştırıyor.

Önemli çıkarımlar#

PaliGemma 2; gelişmiş ölçeklenebilirlik, ince ayar esnekliği ve doğruluk sunarak görsel-dil modellemesinde dikkat çekici bir ilerleme sağlıyor. Erişilebilirlik çözümleri ve e-ticaretten sağlık tanılamasına ve eğitime kadar uzanan uygulamalarda değerli bir araç olabilir.

Hesaplama gereksinimleri ve yüksek kaliteli verilere bağımlılık gibi sınırlamaları olsa da güçlü yönleri, görsel ve metinsel verileri bir araya getiren karmaşık görevlerde PaliGemma 2'yi pratik bir seçenek hâline getiriyor. PaliGemma 2, çok modlu uygulamalarda yapay zekânın potansiyelini keşfetmek ve geliştirmek isteyen araştırmacılar ile geliştiriciler için sağlam bir temel sunabilir.

GitHub depomuzu ve topluluğumuzu inceleyerek AI sohbetinin bir parçası ol. AI'nın tarım ve sağlık alanlarında nasıl ilerleme kaydettiğini öğren!