Görüntü dil modellerini ve uygulamalarını anlamak

Önceki bir makalede, GPT-4o'nun görüntüleri sözcüklerle nasıl anlayıp açıklayabildiğini inceledik. Google Gemini ve Claude 3 gibi diğer yeni modellerde de bu yeteneği görüyoruz. Bugün, Görsel Dil Modellerinin nasıl çalıştığını ve görsel ile metinsel verileri nasıl birleştirdiğini açıklamak için bu kavramı daha derinlemesine ele alıyoruz.

Bu modeller; fotoğraflar için ayrıntılı açıklamalar oluşturma, görüntülerle ilgili soruları yanıtlama ve hatta metinsel açıklamalara dayalı yeni görsel içerikler oluşturma gibi çeşitli etkileyici görevlerde kullanılabilir. Görsel ve dilsel bilgileri sorunsuz bir şekilde bütünleştiren Görsel Dil Modelleri, teknolojiyle etkileşim kurma ve çevremizdeki dünyayı anlama biçimimizi değiştiriyor.

Görsel dil modelleri nasıl çalışır?#

Görsel Dil Modellerinin (VLM'ler) nerelerde kullanılabileceğine bakmadan önce, ne olduklarını ve nasıl çalıştıklarını anlayalım. VLM'ler, hem görüntüleri hem de metinleri işlemek için görsel ve dil modellerinin yeteneklerini birleştiren gelişmiş AI modelleridir. Bu modeller, görüntüleri metin açıklamalarıyla birlikte alır ve ikisi arasındaki bağlantıyı öğrenir. Modelin görsel bölümü görüntülerdeki ayrıntıları yakalarken dil bölümü metni anlar. Bu iş birliği, VLM'lerin hem görüntüleri hem de metinleri anlamasına ve analiz etmesine olanak tanır.

Görsel Dil Modellerinin temel yetenekleri şunlardır:

• Görüntü Açıklaması Oluşturma: Görüntülerin içeriğine dayalı açıklayıcı metinler oluşturma.
• Görsel Soru Yanıtlama (VQA): Bir görüntünün içeriğiyle ilgili soruları yanıtlama.
• Metinden-Görüntü Oluşturma: Metinsel açıklamalara dayalı görüntüler oluşturma.
• Görüntü-Metin Getirme: Verilen bir metin sorgusuyla ilgili görüntüleri ve bunun tersini bulma.
• Çok Modlu İçerik Oluşturma: Yeni içerik oluşturmak için görüntüleri ve metinleri birleştirme.
• Sahne Anlama veNesne Tespiti: Bir görüntüdeki nesneleri ve ayrıntıları belirleme ve kategorilere ayırma.

Şekil 1. Görsel dil modelinin yeteneklerine bir örnek.

Şimdi CLIP, SimVLM ve VisualGPT gibi tanınmış modellerde kullanılan yaygın VLM mimarilerini ve öğrenme tekniklerini inceleyelim.

Karşılaştırmalı öğrenme#

Karşılaştırmalı öğrenme, veri noktaları arasındaki farkları karşılaştırarak modellerin öğrenmesine yardımcı olan bir tekniktir. Örneklerin ne kadar benzer veya farklı olduğunu hesaplar ve bu farkları ölçen karşılaştırmalı kaybı en aza indirmeyi amaçlar. Özellikle, az sayıdaki etiketli örneğin modeli yeni ve daha önce görülmemiş verileri etiketlemesi için yönlendirdiği yarı denetimli öğrenmede kullanışlıdır. Örneğin model, bir kedinin neye benzediğini anlamak için onu benzer kedi görüntüleriyle ve köpek görüntüleriyle karşılaştırır. Karşılaştırmalı öğrenme teknikleri; yüz yapısı, vücut boyutu ve kürk gibi özellikleri belirleyerek kedi ile köpek arasındaki farkı ayırt edebilir.

Şekil 2. Karşılaştırmalı öğrenmenin nasıl çalıştığı.

CLIP, metin açıklamalarını görüntülerle eşleştirmek için karşılaştırmalı öğrenmeyi kullanan bir Görsel-Dil Modelidir. Üç basit adımda çalışır. İlk olarak, hem metinleri hem de görüntüleri anlayan model bölümlerini eğitir. İkinci olarak, veri kümesindeki kategorileri metin açıklamalarına dönüştürür. Üçüncü olarak, verilen bir görüntü için en iyi eşleşen açıklamayı belirler. Bu yöntem sayesinde CLIP modeli, özel olarak eğitilmediği görevlerde bile doğru tahminler yapabilir.

PrefixLM#

PrefixLM, model eğitimi için kullanılan bir Doğal Dil İşleme (NLP) tekniğidir. Bir cümlenin bir bölümüyle (ön ek) başlar ve sonraki sözcüğü tahmin etmeyi öğrenir. Görsel-Dil Modellerinde PrefixLM, modelin bir görüntüye ve verilen bir metin parçasına dayanarak sonraki sözcükleri tahmin etmesine yardımcı olur. Görüntüyü her biri görüntünün bir bölümünü temsil eden küçük parçalara ayıran ve bunları sırayla işleyen bir Görsel Transformer (ViT) kullanır.

Şekil 3. PrefixLM tekniğini kullanan bir VLM eğitme örneği.

SimVLM, PrefixLM öğrenme tekniğini kullanan bir VLM'dir. Önceki modellere kıyasla daha basit bir Transformer mimarisi kullanır, ancak çeşitli testlerde daha iyi sonuçlar elde eder. Model mimarisi, bir transformer kodlayıcı kullanarak görüntüleri metin ön ekleriyle ilişkilendirmeyi öğrenmeyi ve ardından bir transformer kod çözücü kullanarak metin oluşturmayı içerir.

Çapraz Dikkatle Çok Modlu Birleştirme#

Çapraz dikkatle çok modlu birleştirme, önceden eğitilmiş bir Görsel Dil Modelinin görsel verileri anlama ve işleme yeteneğini geliştiren bir tekniktir. Modele çapraz dikkat katmanları eklenerek çalışır; bu da modelin aynı anda hem görsel hem de metinsel bilgilere dikkat etmesini sağlar.

Nasıl çalıştığı şöyle:

• Bir görüntüdeki temel nesneler belirlenir ve vurgulanır.
• Vurgulanan nesneler, görsel bilgileri modelin anlayabileceği bir biçime dönüştüren görsel kodlayıcı tarafından işlenir.
• Görsel bilgiler, önceden eğitilmiş dil modelinin bilgisini kullanarak görüntüyü yorumlayan bir kod çözücüye aktarılır.

VisualGPT, bu tekniği kullanan bir modele iyi bir örnektir. Model, kaybolan gradyanlar olarak adlandırılan yaygın bir sorundan kaçınmasına yardımcı olan, kendini yeniden canlandıran aktivasyon birimi (SRAU) adlı özel bir özellik içerir. Kaybolan gradyanlar, eğitim sırasında modellerin önemli bilgileri kaybetmesine neden olabilir; ancak SRAU modelin performansını yüksek tutar.

Şekil 4. VisualGPT model mimarisi.

Görsel dil modellerinin uygulamaları#

Görsel Dil Modelleri çeşitli sektörleri etkiliyor. E-ticaret platformlarını geliştirmekten interneti daha erişilebilir hâle getirmeye kadar VLM'lerin potansiyel kullanım alanları heyecan verici. Bu uygulamalardan bazılarını inceleyelim.

Ürün açıklamaları oluşturma#

İnternetten alışveriş yaparken her ürün için ayrıntılı açıklamalar görürsün; ancak bu açıklamaları oluşturmak zaman alabilir. VLM'ler, bu açıklamaların oluşturulmasını otomatikleştirerek süreci kolaylaştırır. Çevrim içi perakendeciler, Görsel Dil Modellerini kullanarak ürün görüntülerinden doğrudan ayrıntılı ve doğru açıklamalar oluşturabilir.

Yüksek kaliteli ürün açıklamaları, arama motorlarının açıklamada belirtilen belirli özelliklere göre ürünleri tanımlamasına yardımcı olur. Örneğin, "uzun kollu" ve "pamuklu yaka" ifadelerini içeren bir açıklama, müşterilerin "uzun kollu pamuklu gömlek" ürününü daha kolay bulmasına yardımcı olur. Bu, müşterilerin istediklerini hızlıca bulmasına ve dolayısıyla satışların ve müşteri memnuniyetinin artmasına da yardımcı olur.

Şekil 5. AI tarafından oluşturulan bir ürün açıklaması örneği.

Üretken AI modelleri, BLIP-2 gibi, ürün özelliklerini doğrudan görüntülerden tahmin edebilen gelişmiş VLM örnekleridir. BLIP-2, e-ticaret ürünlerini doğru bir şekilde anlamak ve açıklamak için çeşitli bileşenler kullanır. Önce ürünün görsel yönlerini bir görüntü kodlayıcıyla işler ve anlar. Ardından bir sorgulama transformer'ı bu görsel bilgileri belirli sorular veya görevler bağlamında yorumlar. Son olarak bir büyük dil modeli, ayrıntılı ve doğru ürün açıklamaları oluşturur.

İnterneti daha erişilebilir hâle getirme#

Görsel Dil Modelleri, özellikle görme engelli bireyler için görüntü açıklaması oluşturma yoluyla interneti daha erişilebilir hâle getirebilir. Geleneksel olarak kullanıcıların web sitelerindeki ve sosyal medyadaki görsel içeriklerin açıklamalarını girmesi gerekir. Örneğin Instagram'da paylaşım yaptığında, ekran okuyucular için alternatif metin ekleyebilirsin. Ancak VLM'ler bu süreci otomatikleştirebilir.

Bir VLM kanepede oturan bir kedi görüntüsü gördüğünde, görme engelli kullanıcılar için sahneyi anlaşılır hâle getiren "Kanepede oturan bir kedi" açıklamasını oluşturabilir. VLM'ler, birkaç görüntü-açıklama çiftinden öğrendikleri az örnekli yönlendirme ve karmaşık sahneleri mantıksal olarak parçalara ayırmalarına yardımcı olan düşünce zinciri yönlendirmesi gibi teknikleri kullanır. Bu teknikler, oluşturulan açıklamaları daha tutarlı ve ayrıntılı hâle getirir.

Şekil 6. Görüntü açıklamaları oluşturmak için AI kullanımı.

Bu doğrultuda Google'ın Chrome'daki "Google'dan Görüntü Açıklamaları Al" özelliği, alt metni olmayan görüntüler için otomatik olarak açıklamalar oluşturur. AI tarafından oluşturulan bu açıklamalar insanlar tarafından yazılanlar kadar ayrıntılı olmayabilir, ancak yine de değerli bilgiler sağlar.

Görsel Dil Modellerinin Avantajları ve Sınırlamaları#

Görsel Dil Modelleri (VLM'ler), görsel ve metinsel verileri birleştirerek birçok avantaj sunar. Temel avantajlardan bazıları şunlardır:

• Daha İyi İnsan-Makine Etkileşimi: Sistemlerin hem görsel hem de metinsel girdileri anlamasını ve bunlara yanıt vermesini sağlayarak sanal asistanları, sohbet botlarını ve robot bilimi uygulamalarını geliştirir.
• Gelişmiş Teşhis ve Analiz: Görüntüleri analiz edip açıklamalar oluşturarak, sağlık profesyonellerine ikinci görüş ve anomali tespitinde destek sağlayarak tıp alanına yardımcı olur.
• Etkileşimli Hikâye Anlatımı ve Eğlence: Oyun ve sanal gerçeklikte kullanıcı deneyimlerini geliştirmek için görsel ve metinsel girdileri birleştirerek ilgi çekici anlatılar oluşturur.

Etkileyici yeteneklerine rağmen Görsel Dil Modellerinin bazı sınırlamaları da vardır. VLM'ler söz konusu olduğunda aklında bulundurman gereken bazı noktalar şunlardır:

• Yüksek Hesaplama Gereksinimleri: VLM'leri eğitmek ve dağıtmak önemli hesaplama kaynakları gerektirir; bu da onları maliyetli ve daha az erişilebilir hâle getirir.
• Veriye Bağımlılık ve Önyargı: VLM'ler, çeşitlilik içermeyen veya önyargılı veri kümeleriyle eğitilirse önyargılı sonuçlar üretebilir; bu da kalıplaşmış yargıları ve yanlış bilgileri sürdürebilir.
• Sınırlı Bağlam Anlayışı: VLM'ler daha geniş resmi veya bağlamı anlamakta zorlanabilir ve aşırı basitleştirilmiş ya da yanlış çıktılar oluşturabilir.

Önemli çıkarımlar#

Görsel Dil Modelleri, e-ticaret ve sağlık hizmetleri gibi birçok alanda inanılmaz bir potansiyele sahiptir. Görsel ve metinsel verileri birleştirerek yeniliği teşvik edebilir ve sektörleri dönüştürebilirler. Ancak bu teknolojilerin adil bir şekilde kullanılmasını sağlamak için sorumlu ve etik biçimde geliştirilmesi çok önemlidir. VLM'ler gelişmeye devam ettikçe görüntü tabanlı arama ve yardımcı teknolojiler gibi görevleri iyileştireceklerdir.

AI hakkında öğrenmeye devam etmek için topluluğumuza katıl! AI'ı üretim ve sağlık hizmetleri gibi sektörlerde yenilikçi çözümler oluşturmak için nasıl kullandığımızı görmek üzere GitHub depomuzu incele. 🚀