Halüsinasyon (LLM'lerde)

Büyük Dil Modelleri (LLM'ler) bağlamında halüsinasyon, modelin kendinden emin ve kulağa makul gelen ancak gerçekte yanlış, saçma veya sağlanan kaynak verilere dayanmayan bir metin ürettiği bir olguyu ifade eder. Gelişmiş metin üretimi için tasarlanan bu modeller bazen gerçekler, kaynaklar veya ayrıntılar icat ederek bunları doğruymuş gibi sunabilir. Bunun nedeni, bir LLM'nin birincil amacının, ürettiği bilgilerin doğruluğunu doğrulamak değil, tutarlı cümleler oluşturmak için bir dizideki bir sonraki kelimeyi tahmin etmek olmasıdır. Halüsinasyonları anlamak ve hafifletmek, Üretken Yapay Zekayı daha güvenilir hale getirmede temel bir zorluktur.

LLM'ler Neden Halüsinasyon Görür?

Halüsinasyonlar kasıtlı aldatmacalar değil, LLM'lerin nasıl inşa edildiği ve eğitildiğinin yan ürünleridir. Başlıca nedenleri şunlardır:

• Eğitim Verisi Kusurları: GPT-3 ve GPT-4 gibi modeller internetten alınan ve kaçınılmaz olarak hatalar, güncel olmayan bilgiler ve algoritmik önyargılar içeren muazzam hacimlerdeki metinlerden öğrenir. Model, bu kalıpları eğitim verilerinden, doğruluğa ilişkin içsel bir anlayış olmaksızın öğrenir.
• Mimari Tasarım: Temel Transformer mimarisi, olgusal hatırlama veya mantıksal muhakeme için değil, örüntü eşleştirme ve dil modelleme için optimize edilmiştir. Bu durum, bazı araştırmacıların"stokastik papağan" olarak adlandırdığı, anlamını anlamadan dili taklit edebilen bir varlığa yol açabilir.
• Çıkarım Zamanı Belirsizliği: Üretim sırasında, model bir sonraki en iyi belirteç hakkında emin değilse, makul ancak uydurma bilgilerle "boşlukları doldurabilir". Sıcaklık gibi çıkarım parametrelerini ayarlamak bazen bunu azaltabilir, ancak temel bir zorluk olmaya devam etmektedir. Teknik bir genel bakış için, arXiv'deki LLM halüsinasyonları hakkındaki bu ankete bakın.

Gerçek Dünyadan Halüsinasyon Örnekleri

• Hukuki Araştırma: Dava araştırması için bir yapay zeka asistanı kullanan bir avukat, ondan yasal emsaller bulmasını istedi. Sohbet robotu, dava isimleri ve yasal analizler de dahil olmak üzere, akla yatkın ancak var olmayan, tamamen uydurma birkaç mahkeme davasından bahsetti. Gerçek dünyada yaşanan bu olay, LLM'lerin sağlam bir doğruluk kontrolü yapılmadan yüksek riskli alanlarda kullanılmasının ciddi risklerini vurgulamıştır.
• Ürün Önerileri: Bir kullanıcı chatbot'a "dahili güneş paneline sahip en iyi yürüyüş sırt çantasını" sorar. LLM, belirli bir ürün veya özellik kombinasyonu mevcut olmasa bile, özelliklerini ayrıntılı olarak açıklayan belirli bir modeli güvenle önerebilir. Model, makul ancak kurgusal bir ürün oluşturmak için eğitim verilerindeki kavramları birleştirir.

Halüsinasyonlar Nasıl Azaltılır

Araştırmacılar ve geliştiriciler çeşitli hafifletme stratejileri üzerinde aktif olarak çalışmaktadır:

• Geri Alımla Artırılmış Üretim (RAG): Bu teknik, bir LLM'yi bir cevap oluşturmadan önce harici, yetkili bir bilgi tabanından ( vektör veritabanı gibi) bilgi alma yeteneği ile donatır. Modeli doğrulanabilir gerçeklere dayandıran RAG, uydurmaları önemli ölçüde azaltır. RAG'nin nasıl çalıştığı hakkında daha fazla bilgiyi IBM Research'ten edinebilirsiniz.
• Daha İyi Yönlendirme Teknikleri:Düşünce Zinciri yönlendirmesi gibi yöntemler, modeli muhakemesini adım adım çözmeye teşvik eder ve bu da daha doğru çıktılar elde edilmesini sağlayabilir. Düşünce Zinciri ile ilgili orijinal araştırma makalesi bunun etkinliğini göstermektedir.
• İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF): Modeller, insan yorumcuların farklı model yanıtlarını değerlendirdiği RLHF kullanılarak geliştirilir. Bu geri bildirim, OpenAI ve Anthropic gibi kuruluşlar tarafından detaylandırılan bir süreç olarak modeli doğru ve yararlı yanıtları tercih edecek şekilde eğitir.
• Doğruluk Kontrolü ve Doğrulama Katmanları: Çıktıyı kullanıcıya sunmadan önce bir LLM tarafından yapılan iddiaları güvenilir kaynaklara karşı çapraz kontrol etmek için ayrı bir süreç uygulamak. Bu, sorumlu bir yapay zeka geliştirme katmanı ekler.
• Yüksek Kaliteli Veri Kümeleri ve İnce Ayar: Eğitim için kullanılan verilerin kalitesini sürekli olarak iyileştirmek ve belirli, yüksek kaliteli veri kümeleri üzerinde ince ayar yapmak, bir temel modelin olgusal doğrulukla uyumlu hale getirilmesine yardımcı olabilir.

Halüsinasyon ve Diğer Yapay Zeka Hataları

• YZ ' de Önyargı: YZ'de önyargı, bir modelin çıktılarının belirli grupları haksız yere kayırdığı, genellikle toplumsal veya veri kümesi önyargılarını yansıtan sistematik hataları ifade eder. Halüsinasyon ise önyargı ile değil, olgusal yanlışlık ile ilgilidir. Her ikisi de YZ etiğinde ciddi endişelerdir.
• Bilgisayarla Görme Hataları: Halüsinasyon kavramı öncelikle Doğal Dil İşleme (NLP) ile ilişkilidir. Bilgisayarlı Görü'de (CV), hata tipik olarak Ultralytics YOLO gibi bir modelin nesne algılamada hata yapması (örneğin, bir kediyi köpek olarak yanlış sınıflandırması) veya doğruluğuyla ilgili bir nesneyi algılayamaması anlamına gelir. Bu bir bilgi icadı değil, bir algı hatasıdır. Bununla birlikte, görme ve dili birleştiren çok modlu modeller daha yaygın hale geldikçe, görüntülerin yanlış tanımlarını da "halüsinasyon" haline getirebilirler. Her iki model türünü de yönetmek Ultralytics HUB gibi platformlarda kolaylaştırılabilir.