FastVLM: Apple Yeni Hızlı Görüntü-Dil Modelini Tanıtıyor

CVPR 2025 konferansında Apple, FastVLM adlı yeni bir açık kaynaklı yapay zekâ modelini tanıttı. Model hem görselleri hem de dili anlamak üzere tasarlandı ve iPhone, iPad ve Mac gibi Apple aygıtlarında çalışıyor. Böylece verilerini buluta göndermeden hızlı ve akıllı sonuçlar sunabiliyor.

FastVLM'yi özellikle ilgi çekici kılan, ne kadar hızlı ve verimli olduğudur. Apple, modelin yüksek kaliteli görselleri daha az bellek ve güç kullanarak yorumlamasına yardımcı olan FastViTHD adlı yeni bir görsel kodlayıcı geliştirdi. Tüm işleme aygıtta yerel olarak gerçekleşir; bu da kullanıcı gizliliğini korurken yanıt sürelerini kısaltır.

Bu makalede FastVLM’nin nasıl çalıştığını, onu farklı kılan özellikleri ve Apple’ın bu duyurusunun cihazlarında günlük yapay zekâ uygulamaları için neden önemli bir ileri adım olabileceğini inceleyeceğiz.

Görsel-dil modellerini (VLM’ler) anlamak#

FastVLM’yi özel kılan özelliklere geçmeden önce, adındaki “VLM” kısaltmasının ne anlama geldiğine bakalım. Bu kısaltma, görsel içeriği anlayıp dille ilişkilendirmek üzere tasarlanmış bir görsel-dil modelini ifade eder.

VLM’ler görsel anlama yeteneğini dille bir araya getirerek fotoğrafı betimleme, ekran görüntüsüyle ilgili soruları yanıtlama veya bir belgeden metin çıkarma gibi görevleri yerine getirebilir. Görsel-dil modelleri genellikle iki bölüm hâlinde çalışır: Bir bölüm görüntüyü işler ve veriye dönüştürür; diğer bölüm ise bu veriyi yorumlayarak okuyabileceğin veya duyabileceğin bir yanıt oluşturur.

Bu tür yapay zekâ yeniliklerini farkına bile varmadan daha önce kullanmış olabilirsin. Fişleri tarayan, kimlik kartlarını okuyan, görüntü açıklamaları oluşturan veya görme yetisi az olan kişilerin ekranlarıyla etkileşim kurmasına yardımcı olan uygulamalar, arka planda sessizce çalışan görsel-dil modellerinden sıkça yararlanır.

FastVLM nedir?#

Apple, FastVLM’yi diğer görsel-dil modelleriyle aynı görevleri daha yüksek hız, daha güçlü gizlilik ve kendi cihazlarında optimize edilmiş performansla yerine getirmesi için geliştirdi. FastVLM bir görüntünün içeriğini anlayıp metinle yanıt verebilir; ancak bulut sunucularına dayanan birçok modelin aksine tamamen iPhone, iPad veya Mac’inde çalışabilir.

VLM’ler genellikle yüksek çözünürlüklü görüntülerle daha iyi performans gösterir. Örneğin aşağıda gösterildiği gibi FastVLM, bir sokak levhasını ancak görüntünün yüksek çözünürlüklü sürümü verildiğinde “Girilmez” olarak doğru şekilde tanımlayabildi. Ancak yüksek çözünürlüklü girdiler genellikle modelleri yavaşlatır. FastViTHD bu noktada fark yaratır.

Şekil 1. FastVLM’nin düşük ve yüksek çözünürlüklü görüntülerdeki performansı. (Kaynak)

Apple’ın yeni görsel kodlayıcısı FastViTHD, FastVLM’nin yüksek kaliteli görüntüleri daha az bellek ve güç kullanarak daha verimli işlemesine yardımcı olur. FastViTHD, özellikle küçük cihazlarda bile sorunsuz çalışacak kadar hafiftir.

FastVLM ayrıca FastVLM GitHub deposunda herkese açık olarak sunuluyor. Geliştiriciler burada kaynak koda erişebilir, değişiklik yapabilir ve Apple'ın lisans koşullarına uygun olarak FastVLM'yi kendi uygulamalarında kullanabilir.

FastVLM’yi diğer VLM modelleriyle karşılaştırma#

Diğer görsel-dil modelleriyle karşılaştırıldığında FastVLM, akıllı telefonlar ve dizüstü bilgisayarlar gibi günlük cihazlarda çalışacak şekilde optimize edilmiştir. Performans testlerinde FastVLM, ilk sözcüğünü veya çıktısını LLaVA-OneVision-0.5B gibi modellere kıyasla 85 kata kadar daha hızlı üretti.

Şekil 2. FastVLM’nin performansını diğer modellerle karşılaştırma. (Kaynak)

FastVLM’nin değerlendirildiği standart kıyaslama testlerinden bazılarına göz atalım:

• DocVQA (Belge Görsel Soru Yanıtlama): Bu görsel soru yanıtlama kıyaslaması, modelin taranmış formlar veya sayfalar gibi belgelerdeki metin bilgilerini ne kadar iyi okuyup anlayabildiğini değerlendirir.
• TextVQA (Metin Tabanlı Görsel Soru Yanıtlama): Bu test, modelin metin içeren görüntüleri yorumlama ve ilgili soruları doğru yanıtlama becerisini ölçer.
• GQA: Bu görev, modelin bir görüntüdeki nesneler ve sahneler arasındaki ilişkileri anlamasını gerektirerek akıl yürütme becerilerini sınar.
• MMMU (Kapsamlı Çok Disiplinli Çok Modlu Anlama): Bu test, görsel ve metinsel kavrayışı bir araya getirerek modelin çok çeşitli akademik konu ve biçimlerdeki performansını ölçer.
• SEED-Bench: Bu kıyaslama, modelin birden fazla alandaki genel görsel anlama ve akıl yürütme yeteneklerini inceler.

FastVLM, bu kıyaslama testlerinde daha az kaynak kullanırken rekabetçi sonuçlar elde etti. Telefon, tablet ve dizüstü bilgisayar gibi günlük cihazlara pratik görsel yapay zekâ getiriyor.

FastVLM’nin verimli görsel kodlayıcısı: FastViTHD#

Şimdi, FastVLM’nin görüntü işleme performansında kritik rol oynayan görsel kodlayıcı FastViTHD’ye daha yakından bakalım.

Çoğu görsel-dil modeli, bir görüntüyü token adı verilen binlerce küçük parçaya böler. Token sayısı arttıkça modelin görüntüyü anlamak için ihtiyaç duyduğu süre ve güç de artar. Bu durum, özellikle telefonlarda veya dizüstü bilgisayarlarda işlemleri yavaşlatabilir.

Şekil 3. Bir görsel kodlayıcının görüntüyü işleme biçimi. (Kaynak)

FastViTHD, görüntünün tamamını anlamaya devam ederken daha az token kullanarak çok fazla token işlemenin yol açtığı yavaşlamayı önler. İki yaklaşımı bir araya getirir: örüntüleri ve ilişkileri modellemede başarılı Transformer’lar ve görsel verileri verimli biçimde işleyen evrişim katmanları. Sonuç, daha hızlı çalışan ve daha az bellek kullanan bir sistemdir.

Apple’a göre FastViTHD, yüksek doğruluğu korurken bazı geleneksel görsel kodlayıcılardan 3,4 kata kadar daha küçüktür. İşlemeyi hızlandırmak için daha az önemli görüntü parçalarını kaldıran token budama gibi model optimizasyonu tekniklerine dayanmak yerine, daha basit ve yalın bir mimariyle verimlilik sağlar.

FastVLM’nin model varyantları ve eğitim hattı#

Apple, FastVLM’yi üç farklı boyutta yayımladı: 0.5B, 1.5B ve 7B parametre (burada “B”, modeldeki eğitilebilir ağırlıkların sayısını ifade eden milyar anlamına gelir). Her sürüm farklı cihaz türlerine uygun olacak şekilde tasarlandı. Küçük modeller telefon ve tabletlerde çalışabilirken daha büyük olan 7B modeli masaüstü bilgisayarlar veya daha yoğun görevler için uygundur.

Bu sayede geliştiriciler uygulamaları için en uygun seçeneği belirleyebilir. Aynı temel model mimarisini kullanarak mobil cihazlara yönelik hızlı ve hafif bir uygulama ya da daha büyük sistemlere yönelik daha karmaşık bir uygulama geliştirebilirler.

Apple, FastVLM model çeşitlerini, görsel ve dil modellerini hizalamaya yönelik bir çerçeve olan LLaVA‑1.5 iş akışını kullanarak eğitti. Dil bileşeni için FastVLM'i, doğal ve tutarlı metin üretmesiyle bilinen Qwen ve Vicuna gibi mevcut açık kaynak modellerini kullanarak değerlendirdiler. Bu yapılandırma, FastVLM'in hem basit hem de karmaşık görüntüleri işlemesine ve okunabilir, konuyla ilgili yanıtlar üretmesine olanak tanıyor.

FastVLM’nin önemi: Apple’ın verimli yapay zekâ yaklaşımı#

FastVLM’nin verimli görüntü işlemesinin neden önemli olduğunu merak ediyor olabilirsin. Bunun yanıtı, uygulamaların buluta dayanmadan gerçek zamanlı ve sorunsuz çalışabilmesidir. FastVLM, 1152’ye 1152 piksele kadar yüksek çözünürlüklü görüntüleri işleyebilirken doğrudan cihazında çalışacak kadar hızlı ve hafif kalır.

Böylece uygulamalar, tüm verileri cihazda tutarken kameranın gördüklerini betimleyebilir, fişleri çekildikleri anda tarayabilir veya ekrandaki değişikliklere yanıt verebilir. Bu özellik özellikle eğitim, erişilebilirlik, üretkenlik ve fotoğrafçılık alanlarında işe yarar.

FastViTHD büyük görüntülerde de verimli olduğundan cihazların hızlı yanıt vermesine ve serin kalmasına yardımcı olur. Başlangıç seviyesi iPhone’larda çalışan en küçük model de dâhil olmak üzere tüm model boyutlarıyla uyumludur. Böylece aynı yapay zekâ özellikleri telefonlarda, tabletlerde ve Mac’lerde çalışabilir.

FastVLM uygulamaları#

Hız, verimlilik ve cihaz içi gizlilik gibi temel avantajları sayesinde FastVLM çok çeşitli uygulamalara güç verebilir. İşte bazı kullanım alanları:

• Belge okuma: Fişleri, formları veya kimlik kartlarını tarayabilir ve yalnızca ilgili bilgileri çıkarabilir. Görüntünün belirli alanlarına odaklanabilir; bu da hızlı ve doğru metin çıkarma gerektiren uygulamalar için kullanışlıdır.
• Görüntü açıklamaları: Bir fotoğrafı analiz ederek görüntüde ne olduğuna dair anlaşılır bir açıklama oluşturabilir. Bu özellik kamera uygulamalarında, fotoğraf galerilerinde veya gerçek zamanlı görsel anlamadan yararlanan herhangi bir araçta kullanılabilir.
• Erişilebilirlik desteği: FastVLM, görme engelli veya görme yetisi az olan kullanıcılar için ekrandaki içeriği betimleyerek düğmelerin, menülerin ve düzen öğelerinin daha kolay gezilip kullanılmasını sağlayabilir.
• Cihaz içi yapay zekâ asistanları: FastVLM, ekranda ne olduğunu hızla anlaması gereken yapay zekâ asistanlarıyla birlikte iyi çalışabilir. Doğrudan cihazda çalışıp verileri gizli tuttuğu için metin okuma, düğmeleri veya simgeleri tanımlama ve kullanıcıları buluta bilgi göndermeden gerçek zamanlı olarak yönlendirme gibi görevlerde yardımcı olabilir.

Şekil 4. FastVLM metin tanıma ve görsel soru yanıtlama için kullanılabilir. (Kaynak)

Önemli çıkarımlar#

FastVLM; hız, gizlilik ve verimliliği bir araya getirerek cihaz içi görsel-dil yapay zekâsını Apple cihazlarına taşıyor. Hafif tasarımı ve açık kaynaklı olarak yayımlanması sayesinde mobil ve masaüstü uygulamalarda görüntülerin gerçek zamanlı anlaşılmasını sağlıyor.

Bu, yapay zekâyı günlük kullanım için daha pratik ve erişilebilir hâle getirirken geliştiricilere kullanışlı, gizliliğe odaklanan uygulamalar geliştirmek için sağlam bir temel sunuyor. Gelecekte görsel-dil modellerinin teknolojiyle etkileşim kurma biçimimizde önemli bir rol oynayarak yapay zekâyı günlük durumlarda daha hızlı yanıt veren, bağlamı anlayan ve yardımcı olan bir hâle getirmesi muhtemel.

Yapay zekâ hakkında daha fazla bilgi edinmek için GitHub depomuza göz at. Aktif topluluğumuza katıl ve otomotiv sektöründe yapay zekâ ile üretimde görsel yapay zekâ gibi alanlardaki yenilikleri keşfet. Bilgisayarlı görüye bugün başlamak için lisans seçeneklerimize göz at.