Hallucination (in LLMs)

Bir büyük dil modelindeki (LLM) halüsinasyon, akıcı ve kendinden emin görünmesine rağmen yanlış olan, modelin kaynaklarıyla desteklenmeyen veya modelin kendi girdisiyle tutarsız üretilmiş içeriktir. Halüsinasyonlar uydurma bir alıntıdan yanlış bir tarihe, hatta kaynak belgenin hiç öne sürmediği iddiaları ekleyen bir özete kadar uzanır; yanlış yanıt doğru yanıtla aynı tonda olduğu için bunları yakalamak zordur. Mata v. Avianca (2023) davasında bir ABD federal mahkemesi, ChatGPT'nin uydurduğu altı mahkeme kararına atıfta bulunan bir dilekçe sundukları için iki avukata yaptırım uyguladı. Bazı araştırmacılar, modelin bilgi boşluklarını makul görünen metinlerle doldurmasını anlatmak için eş anlamlı olan konfabulasyon terimini tercih eder.

Halüsinasyon Türleri#

• İçsel halüsinasyonlar: Belgedeki onay yılından farklı bir yıl belirten özet gibi, sağlanan kaynakla çelişen çıktılardır. Ji ve diğerlerinin derlemesi, özetleme, diyalog ve çevirideki hataları sınıflandırmak için bu terimi ve bir sonrakini kullanır.
• Dışsal halüsinasyonlar: Kaynağın doğrulayamadığı bilgileri ekleyen çıktılardır; eklenen bilgiler doğru da yanlış da olabilir.
• Açık uçlu yanıtlardaki olgusal hatalar: Herhangi bir kaynak olmadan model yanlış bilgiler verir, kaynak uydurur veya birkaç kişiye ait ayrıntıları tek bir biyografide birleştirir.
• Paket halüsinasyonları: Kod asistanları var olmayan kütüphaneleri içe aktarır. 16 modelden üretilen 576.000 kod örneğini inceleyen bir araştırma, ticari modellerin önerdiği paketlerin en az %5,2'sinin, açık kaynaklı modellerin önerdiklerinin ise %21,7'sinin halüsinasyon olduğunu buldu. Bu paketler, saldırganların kötü amaçlı kodla kaydedebileceği 205.474 benzersiz sahte paket adını kapsıyordu.
• Nesne halüsinasyonları: Görsel-dil modelleri (VLM'ler) görselde bulunmayan nesneleri tarif eder.

LLM'ler Neden Halüsinasyon Görür?#

Bir LLM, ön eğitim sırasında öğrenilen olasılıklardan bir sonraki token'ı tahmin ederek metin üretir; olgusal bir veritabanına karşı yerleşik bir denetim mekanizması yoktur. OpenAI'deki Kalai ve diğerleri (2025), halüsinasyonları iki istatistiksel baskıyla açıklar. Ön eğitimde, örneğin az tanınan bir kişinin doğum günü gibi yalnızca bir kez görülen olgular güvenilir biçimde öğrenilemez: eğitim verilerindeki doğum günü olgularının %20'si tam olarak bir kez geçiyorsa, temel modelin doğum günü sorularının en az %20'sinde halüsinasyon görmesi beklenmelidir. Eğitimden sonra çoğu kıyaslama testi, yanıtları doğru ya da yanlış olarak değerlendirir ve "Bilmiyorum" yanıtına sıfır puan verir; bu nedenle tahmin yürüten model, yanıt vermekten kaçınan modelden daha yüksek puan alır ve eğitim sonrası süreç modelleri kendinden emin tahmincilere dönüştürür.

Başka etkenler de buna katkıda bulunur. Yüksek sıcaklıkla veya geniş çekirdek örneklemesi kullanarak örnekleme yapmak, düşük olasılıklı devamları seçebilir; ilgili olgular uzun girdilerin içine gömüldükçe doğruluk düşer (bağlam çürümesi) ve insan onayıyla eğitilen modeller sorudaki yanlış öncülü kabul etme eğilimindedir; bu, bir tür yapay zekâ yaltaklanmasıdır.

Halüsinasyonları Tespit Etme ve Azaltma#

• Getirme destekli üretim (RAG): Sistem, güvenilir bir koleksiyondan bölümler getirir ve modele bu bölümlere dayanarak yanıt vermesini söyler. Bir yeniden sıralayıcı, isteme hangi bölümlerin ekleneceğini iyileştirir; ancak model yine de bu bölümleri yanlış okuyabilir veya görmezden gelebilir.
• Alıntılarla grounding: Her iddia, getirilen bir bölümden alıntı yapmalıdır; genellikle ikinci bir model olan denetleyici, bölümün iddiayı desteklediğini doğrular.
• Anlamsal entropi: Model aynı soruyu birkaç kez yanıtlar, yanıtlar anlamlarına göre kümelenir ve kümeler arasındaki yüksek entropi olası bir konfabulasyona işaret eder.
• Doğrulama zinciri (CoVe): Model bir yanıt taslağı hazırlar, kendi iddiaları hakkında doğrulama soruları yazar, bu soruları bağımsız olarak yanıtlar ve taslağı gözden geçirir.
• Yanıt vermekten kaçınmayı ödüllendirme: RLHF veya kendinden emin hataları "Bilmiyorum" yanıtından daha fazla cezalandıran başka geri bildirimlerle eğitim yapmak ve değerlendirmeleri de aynı şekilde puanlamak, tahmin yürütme teşvikini ortadan kaldırır.

Grounding içeren bir soru yanıtlama sistemi bu denetimlerin birkaçını bir döngüde birleştirir:

Halüsinasyon ve İlgili Kavramlar#

• Yapay zekâda önyargı: Bir grubu kayırmak gibi, çıktılardaki sistematik eğilimdir. Bir yanıt önyargı içermediği hâlde halüsinasyon olabilir veya olgusal açıdan doğru olduğu hâlde önyargılı olabilir.
• Aşırı öğrenme: Genelleme pahasına eğitim örneklerini ezberlemektir. Halüsinasyonlar çoğu zaman bunun tersi durumdan, yani modelin ezberleyemeyecek kadar seyrek gördüğü bir olguyu tamamlamasından kaynaklanır.
• Model çöküşü: Modeller üretilmiş verilerle eğitildiğinde seyrek bilgilerin kaybolmasıdır; bu durum sonraki modellerin uzun kuyruklu olgular hakkında daha fazla halüsinasyon görmesine yol açabilir.

Görsel-Dil Modellerinde Nesne Halüsinasyonu#

VLM'ler dil öncüllerine dayanır; bu nedenle bir altyazı oluşturma modeli, eğitim altyazılarında çatallar tabakların yanında çok sık geçtiği için, çatalların hiç bulunmadığı bir yemek masasında çataldan söz edebilir. Görsel altyazılarında nesne halüsinasyonu, altyazıda adı geçen nesnelerden görselin gerçek referans açıklamalarında bulunmayanların oranını ölçen CHAIR metriğiyle değerlendirilir. Bu sorunu azaltmanın bir yolu, dil modeline bir algılayıcının gerçekten bulduğu nesnelerin listesini vermektir. Aşağıdaki kod parçacığı bir görsel üzerinde YOLO26 çalıştırır ve algılamalarını bir istem kısıtına dönüştürür:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-class detection counts as text, used as facts the language model must stay within
detections = result.verbose()
prompt = f"Describe this image. Mention only these detected objects: {detections}"
print(prompt)

result.verbose(), algılanan her sınıf için bir sayı döndürür; böylece istemde adı geçen her nesnenin arkasında bir sınırlayıcı kutu bulunur ve başka bir nesneden söz eden yanıt kullanıcıya ulaşmadan işaretlenebilir.