RAG ve bilgisayarlı görüyle yapay zekâ uygulamalarını geliştirme

ChatGPT veya Gemini gibi yapay zekâ araçlarını kullanmak, bilgi bulmanın yaygın bir yolu hâline hızla geliyor. İster bir mesaj taslağı hazırlıyor, ister bir belgeyi özetliyor, ister bir soruyu yanıtlıyor ol, bu araçlar çoğu zaman daha hızlı ve kolay bir çözüm sunuyor.

Ancak büyük dil modellerini (LLMs) birkaç kez kullandıysan, muhtemelen sınırlamalarını fark etmişsindir. Çok özel veya zamana duyarlı sorular sorulduğunda yanlış yanıtlar verebilir, üstelik bunu çoğu zaman kendilerinden son derece emin bir dille yapabilirler.

Bunun nedeni, tek başına çalışan LLM'lerin yalnızca eğitildikleri verilere dayanmasıdır. Bu veri kümesinin ötesindeki en yeni güncellemelere veya uzmanlık gerektiren bilgilere erişemezler. Sonuç olarak verdikleri yanıtlar güncelliğini yitirmiş veya hatalı olabilir.

Bu sorunu çözmeye yardımcı olmak için araştırmacılar getirimle güçlendirilmiş üretim (RAG) adı verilen bir yöntem geliştirdi. RAG, soruları yanıtlarken güvenilir kaynaklardan güncel ve ilgili bilgiler almasını sağlayarak dil modellerini geliştirir.

Bu makalede RAG'in nasıl çalıştığını ve ilgili, güncel bilgileri getirerek yapay zekâ araçlarını nasıl geliştirdiğini inceleyeceğiz. Ayrıca, sistemlerin yalnızca metni değil, görselleri, sayfa düzenlerini ve görsel açıdan karmaşık belgeleri de anlamasına yardımcı olmak için görsel verileri yorumlamaya odaklanan bir yapay zekâ alanı olan bilgisayarlı görü ile birlikte nasıl çalıştığına bakacağız.

Getirimle güçlendirilmiş üretimi (RAG) anlama#

Bir AI sohbet robotuna soru sorduğumuzda genellikle kulağa hoş gelen bir yanıttan fazlasını bekleriz. İyi bir yanıtın açık, doğru ve gerçekten yararlı olması gerekir. Bunu sağlamak için AI modelinin dil becerilerinin yanı sıra doğru bilgilere, özellikle belirli konularda veya zamana duyarlı meselelerde, erişmesi gerekir.

RAG, bu boşluğu kapatmaya yardımcı olan bir tekniktir. Dil modelinin metni anlama ve üretme yeteneğini, harici kaynaklardan ilgili bilgileri getirme gücüyle birleştirir. Model, yalnızca eğitim verilerine dayanmak yerine yanıtını oluştururken güvenilir bilgi tabanlarından destekleyici içerikleri etkin biçimde alır.

Şekil 1. Temel RAG kullanım alanları. Görselin sahibi: yazar.

Bunu, birine soru sorup yanıt vermeden önce güvenilir bir kaynağa başvurmasını istemeye benzetebilirsin. Yanıt hâlâ kendi sözleriyle verilir, ancak en ilgili ve güncel bilgilerden yararlanır.

Bu yaklaşım, LLM'lerin kullanıcının sorusuna daha kapsamlı, doğru ve özel olarak uyarlanmış yanıtlar vermesine yardımcı olur. Böylece doğruluğun gerçekten önemli olduğu gerçek dünya uygulamalarında çok daha güvenilir hâle gelirler.

RAG'in nasıl çalıştığına bakalım#

RAG, iki temel adım ekleyerek büyük dil modelinin yanıt verme biçimini geliştirir: getirim ve üretim. Önce harici bir bilgi tabanından ilgili bilgileri getirir. Ardından, düzgün biçimlendirilmiş ve bağlamı dikkate alan bir yanıt oluşturmak için bu bilgileri kullanır.

Bu sürecin nasıl işlediğini görmek için basit bir örneğe bakalım. Kişisel finansını yönetmek üzere bir yapay zekâ asistanı kullandığını ve bu ay harcama hedefini aşıp aşmadığını kontrol etmek istediğini düşün.

Süreç, asistana "Bu ay bütçeme sadık kaldım mı?" gibi bir soru sormanla başlar. Sistem, yalnızca eğitim sırasında öğrendiklerine dayanmak yerine, en güncel finansal kayıtlarını (banka ekstreleri veya işlem özetleri gibi) aramak için bir getirim bileşeni kullanır. Bileşen, sorunun arkasındaki amacı anlamaya odaklanır ve en ilgili bilgileri toplar.

Bu bilgiler getirildikten sonra dil modeli devreye girer. Açık ve yararlı bir yanıt oluşturmak için hem sorunu hem de kayıtlarından alınan verileri işler. Ham ayrıntıları sıralamak yerine harcamalarını özetler ve hedefini tutturup tutturmadığını doğrulamak, önemli harcama kalemlerine dikkat çekmek gibi doğrudan ve anlamlı bir içgörü sunar.

Bu yaklaşım, LLM'in yalnızca doğru değil, aynı zamanda gerçek ve güncel bilgilerine dayanan yanıtlar vermesine yardımcı olur. Böylece deneyim, yalnızca statik eğitim verileriyle çalışan bir modelinkinden çok daha yararlı hâle gelir.

Şekil 2. RAG'in nasıl çalıştığını anlama.

Çok modlu RAG sistemlerine neden ihtiyaç var?#

Bilgiler her zaman düz metin olarak paylaşılmaz. Tıbbi taramalardan diyagramlara, sunum slaytlarından taranmış belgelere kadar görseller çoğu zaman önemli ayrıntılar içerir. Temel olarak metni okuyup anlamak için geliştirilmiş geleneksel LLM'ler bu tür içerikleri anlamakta zorlanabilir.

Ancak bu açığı kapatmak için RAG, bilgisayarlı görüyle birlikte kullanılabilir. Bu ikisi bir araya geldiğinde, hem metinleri hem de görselleri işleyebilen ve AI sohbet robotlarının daha doğru ve kapsamlı yanıtlar vermesine yardımcı olan bir çok modlu RAG sistemi oluşturur.

Bu yaklaşımın temelinde, her iki girdi türünü de işlemek ve bunlar üzerinde akıl yürütmek üzere tasarlanmış görsel-dil modelleri (VLMs) bulunur. Bu düzende RAG, büyük veri kaynaklarından en ilgili bilgileri getirirken bilgisayarlı görüden yararlanan VLM, görselleri, sayfa düzenlerini ve diyagramları yorumlar.

Bu yaklaşım; taranmış formlar, tıbbi raporlar veya sunum slaytları gibi önemli ayrıntıların hem metinde hem de görsellerde bulunabildiği gerçek dünya belgelerinde özellikle yararlıdır. Örneğin, görsellerin yanı sıra tablolar ve paragraflar içeren bir belgeyi analiz ederken çok modlu bir sistem görsel öğeleri çıkarabilir, bu öğelerin ne gösterdiğine dair bir özet oluşturabilir ve daha kapsamlı, yararlı bir yanıt sunmak için bu özeti çevresindeki metinle birleştirebilir.

Şekil 3. Çok modlu RAG, daha iyi yanıtlar sunmak için görsellerden ve metinden yararlanır.

Görsel veriler için RAG uygulamaları#

RAG'in ne olduğunu ve bilgisayarlı görüyle nasıl çalıştığını ele aldığımıza göre, şimdi bu yaklaşımın nasıl kullanıldığını gösteren gerçek dünya örneklerine ve araştırma projelerine bakalım.

VisRAG ile görsel belgeleri anlama#

Bir finansal rapordan veya taranmış bir hukuki belgeden içgörü çıkarmaya çalıştığını varsayalım. Bu tür dosyalar çoğu zaman yalnızca metin değil, bilgileri açıklamaya yardımcı olan tablolar, grafikler ve sayfa düzenleri de içerir. Basit bir dil modeli bu görsel öğeleri gözden kaçırabilir veya yanlış yorumlayabilir; bu da eksik ya da hatalı yanıtlara yol açabilir.

VisRAG, bu sorunu çözmek amacıyla araştırmacılar tarafından geliştirildi. Yalnızca metni işlemek yerine her sayfayı bir görsel olarak ele alan, VLM tabanlı bir RAG iş akışıdır. Böylece sistem hem içeriği hem de görsel yapısını anlayabilir. Sonuç olarak belgenin en ilgili bölümlerini bulabilir ve daha açık, doğru, belgenin tüm bağlamına dayanan yanıtlar verebilir.

Şekil 4. VisRAG, metin içeriğini ve sayfa düzenini yakalamak için belgeleri görsel olarak okuyabilir.

RAG ile görsel soru yanıtlama#

Görsel soru yanıtlama (VQA), bir AI sisteminin görseller hakkındaki soruları yanıtladığı bir görevdir. Mevcut birçok VQA sistemi, ek bilgi aramaya gerek duymadan tek bir belge hakkındaki soruları yanıtlamaya odaklanır; bu, kapalı ortam olarak bilinir.

VDocRAG, daha gerçekçi bir yaklaşım sunan bir RAG çerçevesidir. VQA'yı, önce ilgili belgeleri getirme yeteneğiyle birleştirir. Bu yaklaşım, kullanıcının sorusunun birçok belgeden herhangi biriyle ilgili olabileceği ve sistemin yanıt vermeden önce doğru belgeyi bulması gereken gerçek dünya durumlarında yararlıdır. VDocRAG, bunun için belgeleri görsel olarak analiz eden ve hem metinlerini hem de görsel yapılarını koruyan VLM'lerden yararlanır.

Bu özellik, VDocRAG'ı kurumsal arama, belge otomasyonu ve müşteri desteği gibi uygulamalarda özellikle etkili kılar. Sayfa düzenini anlamanın sözcükleri okumak kadar önemli olduğu kılavuzlar veya politika belgeleri gibi karmaşık, görsel açıdan biçimlendirilmiş belgelerden ekiplerin yanıtları hızla çıkarmasına yardımcı olabilir.

Şekil 5. VDocRAG ile LLM tabanlı çözümler arasındaki fark.

RAG ile görsel açıklama oluşturmayı geliştirme#

Görsel açıklama oluşturma, bir görselde neler olduğunu yazılı olarak betimlemeyi içerir. Çevrimiçi içeriği daha erişilebilir kılmaktan görsel aramayı desteklemeye, içerik denetleme ve öneri sistemlerine güç vermeye kadar çeşitli uygulamalarda kullanılır.

Ancak yapay zekâ modellerinin doğru açıklamalar oluşturması her zaman kolay değildir. Özellikle görsel, modelin eğitim sırasında öğrendiklerinden farklı bir şey gösteriyorsa bu görev daha da zorlaşır. Birçok açıklama sistemi büyük ölçüde eğitim verilerine dayanır; bu nedenle tanımadıkları sahnelerle karşılaştıklarında açıklamalar belirsiz veya hatalı olabilir.

Bu sorunu çözmek için araştırmacılar, getirimle güçlendirilmiş üretimi (RAG) görsel açıklama oluşturmaya taşıyan bir yöntem olan Re-ViLM'i geliştirdi. Re-ViLM, sıfırdan açıklama oluşturmak yerine bir veri tabanından benzer görsel-metin çiftleri getirir ve bunları açıklama çıktısını yönlendirmek için kullanır.

Getirime dayalı bu yaklaşım, modelin betimlemelerini ilgili örneklere dayandırmasına yardımcı olarak hem doğruluğu hem de akıcılığı artırır. İlk sonuçlar, Re-ViLM'in gerçek örneklerden yararlanarak daha doğal ve bağlama duyarlı açıklamalar oluşturduğunu ve belirsiz ya da hatalı betimlemeleri azaltmaya yardımcı olduğunu gösteriyor.

Şekil 6. Re-ViLM, görsel-metin örneklerini getirerek görsel açıklamalarını geliştirir.

Görsel verileri anlamak için RAG kullanmanın artıları ve eksileri#

Görsel bilgileri getirmek ve kullanmak için getirimle güçlendirilmiş üretim tekniklerini uygulamanın avantajlarına kısaca göz atalım:

• Gelişmiş özetleme yetenekleri: Özetler yalnızca metni değil, görsellerden elde edilen içgörüleri de (grafik eğilimleri veya infografik öğeleri gibi) içerebilir.
• Daha güçlü arama ve getirim: Görsel tabanlı anlama sayesinde getirim adımları, metinde anahtar sözcükler bulunmasa bile ilgili görsel sayfaları belirleyebilir.
• Taranmış, el yazısıyla yazılmış veya görsel tabanlı belgeler için destek: VLM'lerden yararlanan RAG iş akışları, yalnızca metinle çalışan modellerin okuyamayacağı içerikleri işleyebilir.

Bu avantajlara rağmen, görsel verilerle çalışmak için RAG kullanırken göz önünde bulundurulması gereken birkaç sınırlama hâlâ var. Başlıca sınırlamalardan bazıları şunlar:

• Yüksek hesaplama gereksinimleri: Hem görselleri hem de metni analiz etmek daha fazla bellek ve işlem gücü kullanır; bu da performansı yavaşlatabilir veya maliyetleri artırabilir.
• Veri gizliliği ve güvenlik endişeleri: Özellikle sağlık veya finans gibi sektörlerdeki görsel belgeler, getirim ve işleme iş akışlarını karmaşıklaştıran hassas bilgiler içerebilir.
• Daha uzun çıkarım süreleri: Görsel işleme ek karmaşıklık getirdiği için yanıt oluşturma, yalnızca metinle çalışan sistemlere kıyasla daha uzun sürebilir.

Önemli çıkarımlar#

Getirimle güçlendirilmiş üretim, büyük dil modellerinin harici kaynaklardan ilgili ve güncel bilgileri almasına imkân tanıyarak soruları yanıtlama biçimini geliştiriyor. Bilgisayarlı görüyle birleştirildiğinde bu sistemler yalnızca metni değil, grafikler, tablolar, görseller ve taranmış belgeler gibi görsel içerikleri de işleyebilir; böylece daha doğru ve kapsamlı yanıtlar sunar.

Bu yaklaşım, LLM'leri karmaşık belgeler içeren gerçek dünya görevlerine daha uygun hâle getirir. Getirimi ve görsel anlamayı bir araya getiren bu modeller, farklı biçimleri daha etkili yorumlayabilir ve günlük yaşamın pratik bağlamlarında daha yararlı içgörüler sunabilir.

Büyüyen topluluğumuza katıl! Yapay zekâyı daha derinlemesine keşfetmek için GitHub depomuza göz at. Kendi bilgisayarlı görü projelerine başlamaya hazır mısın? Lisanslama seçeneklerimizi incele. Çözümler sayfalarımızda sağlıkta yapay zekâ ve perakendede bilgisayarlı görü hakkında daha fazla bilgi edin!