Doğal dil işleme ile bilgisayarlı görü arasında köprü kurma

Doğal dil işleme (NLP) ve bilgisayarlı görü (CV), son yıllarda büyük ilgi gören iki ayrı yapay zekâ (AI) dalıdır. Yapay zekâdaki gelişmeler sayesinde bu iki dal artık her zamankinden daha fazla iç içe geçmiştir.

Bunun harika bir örneği, otomatik görüntü altyazısı oluşturmadır. Bilgisayarlı görü bir görüntünün içeriğini analiz edip anlamak için, doğal dil işleme ise bu içeriği açıklayan bir altyazı oluşturmak için kullanılabilir. Otomatik görüntü altyazısı oluşturma, erişilebilirliği artırmak amacıyla sosyal medya platformlarında ve görüntüleri verimli biçimde düzenleyip etiketlemeye yardımcı olmak için içerik yönetim sistemlerinde yaygın olarak kullanılır.

Doğal dil işleme ve görsel yapay zekâ alanlarındaki yenilikler, çeşitli sektörlerde pek çok kullanım örneğini beraberinde getirdi. Bu makalede doğal dil işlemeyi ve bilgisayarlı görüyü daha yakından inceleyip ikisinin de nasıl çalıştığını ele alacağız. Ayrıca her iki teknolojiyi birlikte kullanan uygulamaları da keşfedeceğiz.

NLP ve görüntü AI'ı anlama#

Doğal dil işleme, bilgisayarlarla insan dili arasındaki etkileşime odaklanır. Makinelerin metni veya konuşmayı anlamlı biçimde anlamasını, yorumlamasını ve üretmesini sağlar. Çeviri, duygu analizi veya özetleme gibi görevlerde kullanılabilir.

Bilgisayarlı görü ise makinelerin görüntüleri ve videoları analiz edip bunlarla çalışmasına yardımcı olur. Bir fotoğraftaki nesneleri algılama, yüz tanıma, nesne takibi veya görüntü sınıflandırma gibi görevlerde kullanılabilir. Görsel yapay zekâ teknolojisi, makinelerin görsel dünyayı daha iyi anlamasını ve bu dünyayla etkileşim kurmasını sağlar.

Şekil 1. Görüntü sınıflandırma örneği.

Doğal dil işleme, bilgisayarlı görüyle bütünleştirildiğinde metinle görüntüleri birleştirerek görsel verilere anlam katabilir ve daha derin bir kavrayış sağlayabilir. "Bir görüntü bin sözcüğe bedeldir" derler; metinle eşleştirildiğinde çok daha güçlü hâle gelerek daha zengin içgörüler sunar.

NLP ve bilgisayarlı görünün birlikte çalışmasına örnekler#

Muhtemelen farkına bile varmadan, telefonunun bir görüntüdeki metni çevirmesi gibi gündelik araçlarda doğal dil işleme ile bilgisayarlı görünün birlikte çalıştığını görmüşsündür.

Google Translate, görüntülerdeki metni çevirmek için hem doğal dil işlemeyi hem de bilgisayarlı görüyü kullanır. Başka bir dildeki sokak tabelasının fotoğrafını çektiğinde bilgisayarlı görü metni tanıyıp çıkarırken doğal dil işleme bu metni tercih ettiğin dile çevirir.

Doğal dil işleme ve bilgisayarlı görü, süreci sorunsuz ve verimli hâle getirmek için birlikte çalışır; kullanıcıların diller arası bilgileri gerçek zamanlı olarak anlamasını ve bu bilgilerle etkileşim kurmasını sağlar. Bu bütünleşme, iletişim engellerini aşmaya yardımcı olur.

Şekil 2. Google'ın Translate özelliği.

NLP ve bilgisayarlı görünün birlikte çalıştığı başka uygulamalardan bazıları şunlardır:

• Otonom araçlar: CV, yol işaretlerini, şeritleri ve engelleri algılamak için; NLP ise sesli komutları veya yol işaretlerindeki metni işlemek için kullanılabilir.
• Belge okuyucular: Görsel yapay zekâ, taranmış belgelerdeki veya el yazısındaki metni tanıyabilir; doğal dil işleme ise bilgileri yorumlayıp özetleyebilir.
• Alışveriş uygulamalarında görsel arama: Bilgisayarlı görü fotoğraflardaki ürünleri tanıyabilir; doğal dil işleme ise önerileri iyileştirmek için arama terimlerini işler.
• Eğitim araçları: CV, el yazısıyla yazılmış notları veya görsel girdileri tanıyabilir; NLP ise içeriğe dayalı açıklamalar ya da geri bildirimler sunabilir.

Bilgisayarlı görü ve NLP'yi bir araya getiren temel kavramlar#

Bilgisayarlı görü ve doğal dil işlemenin nasıl kullanıldığını gördük; şimdi çapraz modlu AI'ı mümkün kılmak için bu iki alanın nasıl bir araya geldiğini inceleyelim.

Çapraz kipli yapay zekâ, metinler ve görüntüler arasındaki bilgileri işleyip ilişkilendirmek için bilgisayarlı görünün görsel kavrayışını NLP'nin dili anlama yeteneğiyle birleştirir. Örneğin, sağlık hizmetlerinde çapraz kipli yapay zekâ bir röntgeni analiz etmeye ve olası sorunlara dair açık, yazılı bir özet oluşturmaya yardımcı olarak doktorların daha hızlı ve doğru kararlar almasını sağlayabilir.

Doğal Dil Anlama (NLU)#

Doğal Dil Anlama, metnin amacını, bağlamını, anlambilimini, tonunu ve yapısını analiz ederek metinden anlam çıkarmaya ve metni yorumlamaya odaklanan bir NLP alt alanıdır. NLP ham metni işlerken NLU, makinelerin insan dilini daha etkili biçimde kavramasını sağlar. Örneğin ayrıştırma, yazılı metni makinelerin anlayabileceği yapılandırılmış bir biçime dönüştüren bir NLU tekniğidir.

Şekil 3. NLP ile NLU arasındaki ilişki.

Görsel verilerde anlaşılması gereken metinler bulunduğunda NLU, bilgisayarlı görüyle birlikte çalışır. Bilgisayarlı görü, optik karakter tanıma (OCR) gibi teknolojileri kullanarak görüntülerden, belgelerden veya videolardan metin çıkarır. Bu süreç; fiş tarama, tabeladaki metni okuma veya el yazısı notları dijitalleştirme gibi görevleri içerebilir.

NLU daha sonra metnin anlamını, bağlamını ve amacını kavramak için çıkarılan metni işler. Bu birleşim, sistemlerin yalnızca metni tanımasından fazlasını yapmasını sağlar. Sistemler fişlerdeki harcamaları kategorilere ayırabilir veya tonu ve duyguyu analiz edebilir. Bilgisayarlı görü ve NLU birlikte, görsel metni anlamlı ve eyleme dönüştürülebilir bilgiye çevirir.

İstem mühendisliği#

İstem mühendisliği, büyük dil modelleri (LLMs) ve görsel-dil modelleri (VLMs) gibi üretken yapay zekâ sistemlerini istenen çıktıları üretmeye yönlendirmek için açık, kesin ve ayrıntılı girdiler tasarlama sürecidir. Bu istemler, yapay zekâ modelinin kullanıcının amacını anlamasına yardımcı olan talimatlar işlevi görür.

Etkili istem mühendisliği, modelin yeteneklerini anlamayı ve doğru, yaratıcı ya da içgörülü yanıtlar üretme becerisini en üst düzeye çıkaran girdiler hazırlamayı gerektirir. Bu, özellikle hem metinlerle hem de görüntülerle çalışan çok kipli modeller söz konusu olduğunda önemlidir.

Örneğin, OpenAI'nin metinden görüntü oluşturan DALL·E modelini ele alalım. Modelden “ata binen bir astronotun fotogerçekçi görüntüsünü” oluşturmasını istersen, açıklamana dayanarak tam da bunu üretebilir. Bu, profesyonellerin metin fikirlerini hızla görsel taslaklara dönüştürerek zamandan tasarruf edip verimliliği artırabildiği grafik tasarım gibi alanlarda kullanışlıdır.

Şekil 4. OpenAI'ın DALL-E'si kullanılarak oluşturulmuş bir görüntü.

Bunun bilgisayarlı görüyle nasıl bağlantılı olduğunu merak ediyor olabilirsin; bu yalnızca üretken AI değil mi? Aslında bu ikisi yakından ilişkilidir. Üretken AI, tamamen yeni görsel çıktılar oluşturmak için bilgisayarlı görünün temellerinden yararlanır.

Metin istemlerinden görüntüler oluşturan üretken AI modelleri, metinsel açıklamalarla eşleştirilmiş büyük görüntü veri kümeleri üzerinde eğitilir. Bu sayede dil ile nesneler, dokular ve uzamsal ilişkiler gibi görsel kavramlar arasındaki bağlantıları öğrenebilirler.

Bu modeller, görsel verileri gerçek dünya görüntülerindeki nesneleri tanımak gibi geleneksel bilgisayarlı görü sistemleriyle aynı şekilde yorumlamaz. Bunun yerine, istemlere dayalı yeni görseller oluşturmak için bu kavramlara dair öğrendikleri anlayıştan yararlanırlar. Üretken yapay zekâ, bu bilgiyi iyi hazırlanmış istemlerle birleştirerek kullanıcının girdisiyle örtüşen gerçekçi ve ayrıntılı görüntüler üretebilir.

Soru yanıtlama (QA)#

Soru yanıtlama sistemleri, doğal dildeki soruları anlayıp doğru ve ilgili yanıtlar vermek üzere tasarlanmıştır. Sorguları yorumlamak ve yanıtlamak için bilgi erişimi, anlamsal anlama ve derin öğrenme gibi teknikler kullanırlar.

OpenAI’nin GPT-4o gibi gelişmiş modeller, görsel soru yanıtlamayı (VQA) gerçekleştirebilir; yani görüntüleri analiz edip bunlarla ilgili soruları yanıtlayabilir. Ancak GPT-4o, bilgisayarlı görü görevlerini doğrudan gerçekleştirmez. Bunun yerine görüntüleri işlemek, özellikleri çıkarmak ve yanıtlar sunmak için bunları dil anlama yeteneğiyle birleştirmek üzere özel bir görüntü kodlayıcısı kullanır.

Şekil 5. ChatGPT'nin görsel soru yanıtlama özelliği. Görsel: yazar.

Diğer sistemler, bilgisayarlı görü yeteneklerini tamamen bütünleştirerek bir adım daha ileri gidebilir. Bu sistemler nesneleri, sahneleri veya metinleri tanımlamak için görüntüleri ya da videoları doğrudan analiz edebilir. Doğal dil işleme ile birleştirildiklerinde görsel içerik hakkındaki daha karmaşık soruları yanıtlayabilirler. Örneğin, görsel unsurları algılayıp yorumlayarak “Bu görüntüde hangi nesneler var?” veya “Bu görüntülerde kim var?” sorularını yanıtlayabilirler. Günümüzün görsel dil modellerinin görüntülerdeki nesneleri ne kadar iyi bulduğunu görmek için VLM liderlik tablosuna göz at.

Sıfır Örnekli Öğrenme (ZSL)#

Sıfır örnekli öğrenme (ZSL), yapay zekâ modellerinin özel olarak eğitilmedikleri yeni ve daha önce görülmemiş görevleri yerine getirmesini sağlayan bir makine öğrenmesi yöntemidir. Modelin zaten bildiklerini (görülen sınıfları) yeni, görülmemiş kategorilerle ilişkilendirmek için açıklamalar veya anlamsal ilişkiler gibi ek bilgilerden yararlanır.

Doğal dil işlemede ZSL, sözcükler ve kavramlar arasındaki ilişkilere dayanarak modellerin eğitilmedikleri konuları anlamasına ve bu konularla çalışmasına yardımcı olur. Benzer biçimde bilgisayarlı görüde ZSL, görsel özellikleri (kanatlar veya tüyler gibi) kuşlar gibi bilinen kavramlarla ilişkilendirerek modellerin daha önce hiç karşılaşmadıkları sahneleri veya nesneleri tanımasını sağlar.

ZSL, dil anlayışını görsel tanımayla birleştirerek NLP ve CV'yi buluşturur; bu nedenle her iki alanı da içeren görevlerde özellikle yararlıdır. Örneğin, görsel soru yanıtlama sırasında bir model, doğru yanıtı vermek için ilgili soruyu anlarken görüntüyü de analiz edebilir. Görüntü açıklaması oluşturma gibi görevlerde de yararlıdır.

Önemli çıkarımlar#

Doğal dil işleme ile bilgisayarlı görü bir araya geldiğinde hem metinleri hem de görüntüleri anlayabilen yapay zekâ sistemleri ortaya çıktı. Bu birleşim; otonom araçların yol işaretlerini okumasına yardımcı olmaktan tıbbi teşhisleri iyileştirmeye ve sosyal medyayı daha güvenli hâle getirmeye kadar birçok sektörde kullanılıyor. Bu teknolojiler geliştikçe yaşamı kolaylaştırmaya ve çok çeşitli alanlarda yeni fırsatlar yaratmaya devam edecek. Daha fazla bilgi edinmek için GitHub depomuzu ziyaret et ve topluluğumuza katıl. Çözümler sayfalarımızda otonom araçlardaki ve tarımdaki yapay zekâ uygulamalarını keşfet.