FastVLM: Apple yeni hızlı görü-dil modelini tanıtıyor

CVPR 2025 konferansında Apple, FastVLM adında yeni bir açık kaynaklı yapay zeka modeli tanıttı. Hem görüntüleri hem de dili anlamak için geliştirilmiştir ve iPhone, iPad ve Mac gibi Apple cihazlarında çalışır. Bu, verilerini buluta göndermeden akıllı sonuçları hızla sunabileceği anlamına gelir.

FastVLM'i özellikle ilginç kılan şey, ne kadar hızlı ve verimli olduğudur. Apple, modelin daha az bellek ve güç kullanarak yüksek kaliteli görüntüleri yorumlamasına yardımcı olan FastViTHD adında yeni bir görme kodlayıcısı geliştirdi. Tüm işlemler yerel olarak cihaz üzerinde gerçekleşir; bu da kullanıcı gizliliğini korurken daha hızlı yanıt süreleri sağlar.

Bu makalede FastVLM'in nasıl çalıştığını, onu farklı kılan özelliklerini ve Apple'ın bu sürümünün cihazlarındaki günlük yapay zeka uygulamaları için neden önemli bir adım olabileceğini keşfedeceğiz.

Görme-dil modellerini (VLM) anlamak#

FastVLM'yi özel kılan şeyin ne olduğunu incelemeden önce, adındaki "VLM" kısaltmasının ne anlama geldiğine bakalım. Görsel içeriği anlayıp bunu dille ilişkilendirmek için tasarlanmış bir görsel-dil modelini ifade eder.

VLM'ler, görsel anlayışı ve dili bir araya getirerek bir fotoğrafı tanımlama, ekran görüntüsü hakkında soruları yanıtlama veya bir belgeden metin çıkarma gibi görevleri yerine getirmelerini sağlar. Görme-dil modelleri genellikle iki aşamada çalışır: biri görüntüyü işleyip veriye dönüştürürken, diğeri ise okuyabileceğin veya duyabileceğin bir yanıt oluşturmak için bu veriyi yorumlar.

Bu tür bir yapay zeka yeniliğini fark etmeden zaten kullanmış olabilirsin. Fiş tarayan, kimlik kartlarını okuyan, resim altyazıları oluşturan veya görme engelli bireylerin ekranlarıyla etkileşim kurmalarına yardımcı olan uygulamalar genellikle arka planda sessizce çalışan görme-dil modellerine güvenirler.

FastVLM nedir?#

Apple, FastVLM'i diğer görme-dil modelleriyle aynı görevleri yapmak üzere ancak daha yüksek hız, daha güçlü gizlilik ve kendi cihazlarında optimize edilmiş bir performansla çalışacak şekilde geliştirdi. Bir görüntünün içeriğini anlayıp metinle yanıt verebilir; ancak bulut sunucularına güvenen birçok modelin aksine FastVLM tamamen iPhone, iPad veya Mac'inde çalışabilir.

VLM'ler genellikle yüksek çözünürlüklü görüntülerle daha iyi performans gösterirler. Örneğin, aşağıda gösterildiği gibi FastVLM, ancak yüksek çözünürlüklü bir görüntü verildiğinde bir trafik işaretini "Girilmez" olarak doğru bir şekilde tanımlayabilmiştir. Ancak, yüksek çözünürlüklü girdiler genellikle modelleri yavaşlatır. İşte FastViTHD'nin fark yarattığı nokta burasıdır.

Şekil 1. Düşük ve yüksek çözünürlüklü görüntülerde FastVLM performansı. (Kaynak)

Apple'ın yeni görme kodlayıcısı FastViTHD, FastVLM'in yüksek kaliteli görüntüleri daha az bellek ve güç kullanarak daha verimli işlemesine yardımcı olur. Özellikle FastViTHD, daha küçük cihazlarda bile sorunsuz çalışacak kadar hafiftir.

Ayrıca FastVLM, geliştiricilerin kaynak koduna erişebileceği, değişiklik yapabileceği ve Apple'ın lisans şartlarına uygun olarak kendi uygulamalarında kullanabileceği FastVLM GitHub deposunda halka açık olarak mevcuttur.

FastVLM'i diğer VLM modelleriyle karşılaştırmak#

Diğer görme-dil modelleriyle karşılaştırıldığında FastVLM, akıllı telefonlar ve dizüstü bilgisayarlar gibi günlük cihazlarda çalışacak şekilde optimize edilmiştir. Performans testlerinde FastVLM, ilk kelimesini veya çıktısını LLaVA-OneVision-0.5B gibi modellere kıyasla 85 kata kadar daha hızlı üretmiştir.

Şekil 2. FastVLM'nin performansının diğer modellerle karşılaştırılması. (Kaynak)

İşte FastVLM'in değerlendirildiği standart karşılaştırma testlerinden bazılarına genel bir bakış:

• DocVQA (Belge Görsel Soru-Cevap): Bu test, modelin taranmış formlar veya sayfalar gibi belgelerdeki metinsel bilgileri ne kadar iyi okuyup anlayabildiğini değerlendirir.
• TextVQA (Metin Tabanlı Görsel Soru-Cevap): Modelin, gömülü metin içeren görüntüleri yorumlama ve ilgili soruları doğru bir şekilde yanıtlama yeteneğini ölçer.
• GQA (Grafik Soru-Cevap): Bu görev, modelin bir görüntüdeki nesneler ve sahneler arasındaki ilişkileri anlamasını gerektirerek muhakeme becerilerini test eder.
• MMMU (Kitlesel Çok Disiplinli Çok Modlu Anlayış): Görsel ve metinsel kavramayı birleştirerek modelin çok çeşitli akademik konulardaki ve formatlardaki performansını ölçer.
• SeedBench (Kıyaslama için Geliştirilmiş Verilerin Standart Değerlendirmesi): Bu test, modelin birden fazla alandaki görsel anlama ve muhakeme konusundaki genel yeteneklerini inceler.

Bu kıyaslamalar genelinde FastVLM, daha az kaynak kullanarak rekabetçi sonuçlar elde etti. Telefonlar, tabletler ve dizüstü bilgisayarlar gibi günlük cihazlara pratik vizyon yapay zekası getiriyor.

FastVLM'in verimli görme kodlayıcısı: FastViTHD#

Sırada, FastVLM'in görüntü işleme performansında çok önemli bir rol oynayan görme kodlayıcısı FastViTHD'ye daha yakından bakalım.

Çoğu görme-dil modeli bir görüntüyü token adı verilen binlerce küçük parçaya böler. Token sayısı ne kadar çok olursa, modelin görüntüyü anlaması için o kadar çok zaman ve güç gerekir. Bu da özellikle telefonlarda veya dizüstü bilgisayarlarda işleri yavaşlatabilir.

Şekil 3. Bir görsel kodlayıcının görüntüyü nasıl işlediği. (Kaynak)

FastViTHD, görüntünün tamamını anlamaya devam ederken daha az token kullanarak çok fazla token işlemeyle gelen yavaşlamayı önler. İki yaklaşımı birleştirir: kalıpları ve ilişkileri modellemede başarılı olan transformer'lar ve görsel verileri işlemede verimli olan konvolüsyonel katmanlar. Sonuç, daha hızlı çalışan ve daha az bellek kullanan bir sistemdir.

Apple'a göre FastViTHD, yüksek doğruluğu korumaya devam ederken bazı geleneksel görsel kodlayıcılardan 3,4 kata kadar daha küçüktür. Token budama (işlemeyi hızlandırmak için daha az önemli görüntü parçalarını kaldırma) gibi model optimizasyon tekniklerine güvenmek yerine, verimliliği daha basit ve daha akıcı bir mimari aracılığıyla elde eder.

FastVLM'in model varyantları ve eğitim hattı#

Apple, FastVLM'i üç farklı boyutta yayınladı: 0.5B, 1.5B ve 7B parametre (burada "B", milyar anlamına gelir ve modeldeki eğitilebilir ağırlık sayısını ifade eder). Her sürüm, farklı cihaz türlerine uyacak şekilde tasarlanmıştır. Daha küçük modeller telefonlarda ve tabletlerde çalışabilirken, daha büyük olan 7B modeli masaüstü bilgisayarlar veya daha zorlu görevler için daha uygundur.

Bu, geliştiricilere uygulamaları için en iyi olanı seçme esnekliği sağlar. Aynı temel model mimarisini kullanarak mobil için hızlı ve hafif bir şey veya daha büyük sistemler için daha karmaşık bir şey oluşturabilirler.

Apple, vizyon ve dil modellerini hizalamaya yönelik bir çerçeve olan LLaVA‑1.5 ardışık düzenini kullanarak FastVLM model varyantlarını eğitti. Dil bileşeni için FastVLM'yi, doğal ve tutarlı metinler üretmesiyle bilinen Qwen ve Vicuna gibi mevcut açık kaynaklı modelleri kullanarak değerlendirdiler. Bu kurulum, FastVLM'nin hem basit hem de karmaşık görüntüleri işlemesine ve okunabilir, ilgili yanıtlar üretmesine olanak tanır.

FastVLM'in önemi: Apple'ın yapay zekaya verimli yaklaşımı#

FastVLM'in verimli görüntü işlemesinin neden önemli olduğunu merak ediyor olabilirsin. Bu, uygulamaların buluta ihtiyaç duymadan gerçek zamanlı olarak ne kadar sorunsuz çalışabileceği ile ilgilidir. FastVLM, doğrudan cihazında çalışacak kadar hızlı ve hafif kalırken 1152'ye 1152 piksele kadar yüksek çözünürlüklü görüntüleri işleyebilir.

Bu, uygulamaların her şeyi yerel tutarak kameranın ne gördüğünü açıklayabileceği, yakalandıkları anda fişleri tarayabileceği veya ekrandaki değişikliklere yanıt verebileceği anlamına gelir. Eğitim, erişilebilirlik, üretkenlik ve fotoğrafçılık gibi alanlar için özellikle faydalıdır.

FastViTHD, büyük görüntüler söz konusu olduğunda bile verimli olduğu için cihazların duyarlı kalmasına ve ısınmamasına yardımcı olur. Giriş seviyesi iPhone'larda çalışan en küçüğü dahil tüm model boyutlarıyla çalışır. Bu da aynı yapay zeka özelliklerinin telefonlar, tabletler ve Mac'lerde çalışabileceği anlamına gelir.

FastVLM'in uygulamaları#

FastVLM; hız, verimlilik ve cihaz içi gizlilik gibi temel avantajları sayesinde çok çeşitli uygulamalara güç verebilir. İşte kullanılabileceği birkaç yol:

• Belge okuma: Fişleri, formları veya kimlik kartlarını tarayabilir ve yalnızca ilgili bilgileri çıkarabilir. Hızlı ve doğru metin çıkarımına ihtiyaç duyan uygulamalar için yararlı olan, bir görüntüdeki belirli alanlara odaklanabilir.

• Görüntü altyazıları: Bir fotoğrafı analiz ederek görüntüde nelerin olduğuna dair net bir açıklama oluşturabilir. Bu, kamera uygulamalarındaki, fotoğraf galerilerindeki veya gerçek zamanlı görsel anlamadan yararlanan herhangi bir araçtaki özellikleri destekler.

• Erişilebilirlik desteği: FastVLM, görme engelli veya az gören kullanıcılar için ekran içeriğini tanımlayabilir, düğmeleri, menüleri ve düzen öğelerini gezinmeyi ve kullanmayı daha kolay hale getirebilir.

• Cihaz içi yapay zeka asistanları: FastVLM, ekranda neler olduğunu hızla anlaması gereken yapay zeka asistanlarıyla iyi çalışabilir. Doğrudan cihaz üzerinde çalıştığı ve verileri gizli tuttuğu için metin okuma, düğmeleri veya simgeleri tanımlama ve bilgileri buluta göndermeye gerek kalmadan kullanıcılara gerçek zamanlı olarak rehberlik etme gibi görevlerde yardımcı olabilir.

Şekil 4. FastVLM metin tanıma ve görsel soru yanıtlama için kullanılabilir. (Kaynak)

Öne çıkanlar#

FastVLM, hız, gizlilik ve verimliliği birleştirerek cihaz içi görme-dil yapay zekasını Apple cihazlarına getiriyor. Hafif tasarımı ve açık kaynaklı sürümü ile mobil ve masaüstü uygulamalarında gerçek zamanlı görüntü anlamayı mümkün kılıyor.

Bu, yapay zekayı günlük kullanım için daha pratik ve erişilebilir hale getirmeye yardımcı oluyor ve geliştiricilere kullanışlı, gizlilik odaklı uygulamalar oluşturmaları için sağlam bir temel sunuyor. İleriye bakıldığında, görme-dil modellerinin teknolojiyle etkileşim şeklimizde önemli bir rol oynaması, yapay zekayı daha duyarlı, bağlama duyarlı ve günlük durumlarda daha yardımcı hale getirmesi muhtemeldir.

Yapay zeka hakkında daha fazla bilgi edinmek için GitHub depomuzu keşfet. Aktif topluluğumuza katıl ve otomotiv endüstrisinde yapay zeka ile üretimde vizyon yapay zekası gibi sektörlerdeki yenilikleri keşfet. Bilgisayarlı görü ile hemen başlamak için lisanslama seçeneklerimize göz at.