Görsel dil modellerini ve uygulamalarını anlama

Önceki bir makalede, GPT-4o modelinin görselleri sözcüklerle nasıl anlayıp betimleyebildiğini incelemiştik. Bu yeteneği Google Gemini ve Claude 3 gibi diğer yeni modellerde de görüyoruz. Bugün, Görsel Dil Modellerinin nasıl çalıştığını ve görsel ile metinsel verileri nasıl birleştirdiğini açıklamak için bu kavramı daha derinlemesine ele alıyoruz.

Bu modeller; fotoğraflar için ayrıntılı açıklamalar oluşturma, görüntülerle ilgili soruları yanıtlama ve hatta metinsel açıklamalara dayalı yeni görsel içerikler üretme gibi pek çok etkileyici görevde kullanılabilir. Görsel ve dilsel bilgileri birleştiren Görsel Dil Modelleri, teknolojiyle etkileşim kurma ve çevremizdeki dünyayı anlama biçimimizi değiştiriyor.

Görsel dil modelleri nasıl çalışır?#

Görsel Dil Modellerinin (VLMs) nerelerde kullanılabileceğine bakmadan önce ne olduklarını ve nasıl çalıştıklarını anlayalım. VLM'ler, hem görüntüleri hem de metinleri işlemek için görsel ve dil modellerinin yeteneklerini birleştiren gelişmiş yapay zekâ modelleridir. Bu modeller, metin açıklamalarıyla birlikte görselleri alır ve ikisi arasında bağlantı kurmayı öğrenir. Modelin görsel bileşeni görüntülerdeki ayrıntıları yakalarken dil bileşeni metni anlar. Bu iş birliği, VLM'lerin hem görüntüleri hem de metinleri anlamasını ve analiz etmesini sağlar.

Görsel Dil Modellerinin temel yetenekleri şunlardır:

• Görsel açıklama oluşturma: Görsellerin içeriğine dayalı açıklayıcı metinler oluşturma.
• Görsel soru yanıtlama (VQA): Bir görselin içeriğiyle ilgili soruları yanıtlama.
• Metinden görsel oluşturma: Metinsel açıklamalara dayalı görseller oluşturma.
• Görsel-metin erişimi: Belirli bir metin sorgusu için ilgili görselleri ve bunun tersini bulma.
• Çok modlu içerik oluşturma: Yeni içerikler üretmek için görselleri ve metinleri bir araya getirme.
• Sahne anlama ve nesne algılama: Bir görseldeki nesneleri ve ayrıntıları belirleme ve kategorilere ayırma. Ultralytics Platform'da birçok VLM, algılama veri kümelerini otomatik olarak etiketleyebilir ve VLM Liderlik Tablosu, her birinin bunu ne kadar doğru yaptığını karşılaştırır.

Şekil 1. Bir görsel dil modelinin yeteneklerine örnek.

Şimdi CLIP, SimVLM ve VisualGPT gibi bilinen modellerde kullanılan yaygın VLM mimarilerini ve öğrenme tekniklerini inceleyelim.

Karşıt öğrenme#

Karşıtsal öğrenme, modellerin veri noktaları arasındaki farkları karşılaştırarak öğrenmesine yardımcı olan bir tekniktir. Örneklerin ne kadar benzer veya farklı olduğunu hesaplar ve bu farkları ölçen karşıtsal kaybı en aza indirmeyi amaçlar. Az sayıda etiketli örneğin modelin yeni, görülmemiş verileri etiketlemesine rehberlik ettiği yarı denetimli öğrenmede özellikle yararlıdır. Örneğin model, kedinin neye benzediğini anlamak için onu benzer kedi görselleri ve köpek görselleriyle karşılaştırır. Yüz yapısı, vücut boyutu ve kürk gibi özellikleri belirleyerek karşıtsal öğrenme teknikleri kediyle köpeği birbirinden ayırabilir.

Şekil 2. Karşıt öğrenme nasıl çalışır?

CLIP, metin açıklamalarını görsellerle eşleştirmek için karşıt öğrenmeden yararlanan bir Görsel-Dil Modelidir. Üç basit adımda çalışır. İlk olarak modelin hem metni hem de görselleri anlayan bileşenlerini eğitir. İkinci olarak veri kümesindeki kategorileri metin açıklamalarına dönüştürür. Üçüncü olarak belirli bir görselle en iyi eşleşen açıklamayı belirler. Bu yöntem sayesinde CLIP modeli, özel olarak eğitilmediği görevlerde bile doğru tahminler yapabilir.

PrefixLM#

PrefixLM, modelleri eğitmek için kullanılan bir Doğal Dil İşleme (NLP) tekniğidir. Bir cümlenin bir bölümüyle (ön ekle) başlar ve sonraki sözcüğü tahmin etmeyi öğrenir. Görsel-Dil Modellerinde PrefixLM, modelin bir görsele ve verilen bir metin parçasına dayanarak sonraki sözcükleri tahmin etmesine yardımcı olur. Görseli her biri görselin bir bölümünü temsil eden küçük parçalara ayıran ve bu parçaları sırayla işleyen bir Görsel Transformer (ViT) kullanır.

Şekil 3. PrefixLM tekniğini kullanan bir VLM'nin eğitilmesine örnek.

SimVLM, PrefixLM öğrenme tekniğini kullanan bir VLM'dir. Önceki modellere kıyasla daha basit bir Transformer mimarisi kullanır, ancak çeşitli testlerde daha iyi sonuçlar elde eder. Model mimarisi, bir Transformer kodlayıcı kullanarak görselleri metin ön ekleriyle ilişkilendirmeyi öğrenmeyi ve ardından bir Transformer kod çözücüyle metin üretmeyi içerir.

Çapraz Dikkatle Çok Modlu Birleştirme#

Çapraz dikkatle çok modlu birleştirme, önceden eğitilmiş bir Görsel Dil Modelinin görsel verileri anlama ve işleme yeteneğini geliştiren bir tekniktir. Modele çapraz dikkat katmanları ekleyerek çalışır; bu katmanlar modelin hem görsel hem de metinsel bilgilere aynı anda odaklanmasını sağlar.

İşte çalışma şekli:

• Görseldeki önemli nesneler belirlenir ve vurgulanır.
• Vurgulanan nesneler, görsel bilgileri modelin anlayabileceği bir biçime dönüştüren görsel kodlayıcı tarafından işlenir.
• Görsel bilgiler, önceden eğitilmiş dil modelinin bilgisinden yararlanarak görseli yorumlayan bir kod çözücüye aktarılır.

VisualGPT, bu tekniği kullanan bir modele iyi bir örnektir. Modelin gradyan kaybolması adı verilen yaygın bir sorunu önlemesine yardımcı olan, kendini yeniden etkinleştiren aktivasyon birimi (SRAU) adlı özel bir özellik içerir. Gradyan kaybolması, eğitim sırasında modellerin önemli bilgileri yitirmesine neden olabilir; ancak SRAU modelin performansını yüksek tutar.

Şekil 4. VisualGPT model mimarisi.

Görsel dil modellerinin uygulamaları#

Görsel Dil Modelleri çeşitli sektörlerde etkisini gösteriyor. E-ticaret platformlarını geliştirmekten interneti daha erişilebilir kılmaya kadar VLM'lerin olası kullanım alanları heyecan verici. Bu uygulamalardan bazılarını inceleyelim.

Ürün açıklamaları oluşturma#

İnternetten alışveriş yaparken her ürün için ayrıntılı açıklamalar görürsün, ancak bu açıklamaları oluşturmak zaman alabilir. VLM'ler bu açıklamaları otomatik olarak oluşturarak süreci kolaylaştırır. Çevrim içi perakendeciler, Görsel Dil Modellerini kullanarak ürün görsellerinden doğrudan ayrıntılı ve doğru açıklamalar oluşturabilir.

Kaliteli ürün açıklamaları, arama motorlarının açıklamada belirtilen belirli özelliklere göre ürünleri tanımlamasına yardımcı olur. Örneğin, "uzun kollu" ve "pamuk yaka" ifadelerini içeren bir açıklama, müşterilerin "uzun kollu pamuklu gömlek" ürününü daha kolay bulmasını sağlar. Bu, müşterilerin aradıklarını hızla bulmalarına da yardımcı olur ve böylece satışları ve müşteri memnuniyetini artırır.

Şekil 5. Yapay zekâ tarafından oluşturulmuş bir ürün açıklaması örneği.

Üretken yapay zekâ modelleri, örneğin BLIP-2, ürün özelliklerini doğrudan görsellerden tahmin edebilen gelişmiş VLM'lere örnektir. BLIP-2, e-ticaret ürünlerini doğru biçimde anlamak ve betimlemek için çeşitli bileşenlerden yararlanır. Önce bir görsel kodlayıcıyla ürünün görsel özelliklerini işler ve anlar. Ardından sorgulama Transformer'ı, bu görsel bilgileri belirli sorular veya görevler bağlamında yorumlar. Son olarak bir büyük dil modeli, ayrıntılı ve doğru ürün açıklamaları oluşturur.

İnterneti daha erişilebilir kılma#

Görsel Dil Modelleri, özellikle görme engelli kişiler için görsel açıklamaları oluşturarak interneti daha erişilebilir hâle getirebilir. Geleneksel olarak kullanıcıların, web sitelerindeki ve sosyal medyadaki görsel içerikler için açıklamaları kendilerinin girmesi gerekir. Örneğin Instagram'da paylaşım yaparken ekran okuyucular için alternatif metin ekleyebilirsin. Ancak VLM'ler bu süreci otomatikleştirebilir.

Bir VLM, kanepede oturan bir kedinin görselini gördüğünde "Kanepede oturan bir kedi" açıklamasını oluşturabilir ve sahneyi görme engelli kullanıcılar için anlaşılır kılabilir. VLM'ler, az sayıda görsel-açıklama çiftinden öğrendikleri birkaç örnekli istem oluşturma ve karmaşık sahneleri mantıksal olarak parçalara ayırmalarına yardımcı olan düşünce zinciri istemi gibi tekniklerden yararlanır. Bu teknikler, oluşturulan açıklamaları daha tutarlı ve ayrıntılı hâle getirir.

Şekil 6. Görsel açıklamaları oluşturmak için yapay zekâ kullanımı.

Bu doğrultuda Google'ın Chrome'daki "Google'dan Görsel Açıklamaları Alın" özelliği, alternatif metni olmayan görseller için otomatik olarak açıklamalar oluşturur. Yapay zekâ tarafından oluşturulan bu açıklamalar insanlar tarafından yazılanlar kadar ayrıntılı olmayabilir, ancak yine de değerli bilgiler sağlar.

Görsel Dil Modellerinin Faydaları ve Sınırlamaları#

Görsel Dil Modelleri (VLM'ler), görsel ve metinsel verileri birleştirerek pek çok avantaj sunar. Temel faydalarından bazıları şunlardır:

• Daha iyi insan-makine etkileşimi: Sistemlerin hem görsel hem de metinsel girdileri anlamasını ve bunlara yanıt vermesini sağlayarak sanal asistanları, sohbet botlarını ve robotik uygulamaları geliştirir.
• Gelişmiş tanılama ve analiz: Görselleri analiz edip açıklamalar oluşturarak, sağlık profesyonellerine ikinci görüş ve anomali tespiti desteği sunan tıp alanına yardımcı olur.
• Etkileşimli hikâye anlatımı ve eğlence: Kullanıcı deneyimlerini iyileştirmek için görsel ve metinsel girdileri birleştirerek ilgi çekici anlatılar oluşturur.

Etkileyici yeteneklerine rağmen Görsel Dil Modellerinin bazı sınırlamaları da vardır. VLM'lerle ilgili olarak akılda tutulması gereken bazı noktalar şunlardır:

• Yüksek hesaplama gereksinimleri: VLM'leri eğitmek ve dağıtıma almak önemli miktarda hesaplama kaynağı gerektirir; bu da maliyetleri artırır ve erişimi zorlaştırır.
• Veri bağımlılığı ve önyargı: VLM'ler, çeşitli olmayan veya önyargılı veri kümeleri üzerinde eğitilirse önyargılı sonuçlar üretebilir; bu da kalıp yargıları ve yanlış bilgileri sürdürebilir.
• Sınırlı bağlam anlama: VLM'ler genel resmi veya bağlamı anlamakta zorlanabilir ve aşırı basitleştirilmiş ya da hatalı çıktılar üretebilir.

Önemli çıkarımlar#

Görsel Dil Modelleri, e-ticaret ve sağlık hizmetleri gibi birçok alanda önemli bir potansiyele sahiptir. Görsel ve metinsel verileri birleştirerek yenilikleri destekleyebilir ve sektörleri dönüştürebilirler. Ancak bu teknolojilerin adil bir şekilde kullanılmasını sağlamak için onları sorumlu ve etik biçimde geliştirmek çok önemlidir. VLM'ler gelişmeye devam ettikçe görsel tabanlı arama ve yardımcı teknolojiler gibi görevleri iyileştirecekler.

Yapay zekâ hakkında öğrenmeye devam etmek için topluluğumuza katıl! Yapay zekâyı üretim ve sağlık hizmetleri gibi sektörlerde yenilikçi çözümler oluşturmak için nasıl kullandığımızı görmek üzere GitHub depomuzu incele.