Halüsinasyon (LLM'lerde)

Yapay Zeka (AI) alanında halüsinasyon, Büyük Dil Modeli'nin (LLM) güvenilir ve sözdizimsel olarak doğru ancak gerçeklere aykırı, anlamsız veya kaynak girdisine sadık olmayan içerik üretmesi olarak tanımlanır. Çökmeye veya görünür bir hataya neden olabilecek standart yazılım hatalarından farklı olarak, halüsinasyon gören bir model ikna edici bir uydurucu gibi davranır ve geçerli gerçeklerle aynı otoriteyle yanlış bilgiler sunar. Bu durum, veri bütünlüğünün çok önemli olduğu sağlık, hukuk ve finans gibi hassas alanlarda Üretken AI'yı kullanan kuruluşlar için önemli zorluklar yaratır.

Halüsinasyonlar Neden Oluşur?

Modellerin neden halüsinasyon gördüğünü anlamak için, bunların nasıl oluşturulduğuna bakmak faydalıdır. LLM'ler genellikle gelişmiş bir tahmin motoru olarak işlev gören Transformer mimarisine dayanır. Model, doğrulanmış gerçeklerin yapılandırılmış bir veritabanını sorgulamak yerine, eğitim verilerinden elde edilen istatistiksel olasılıklara dayalı olarak bir dizideki bir sonraki belirteci tahmin eder.

Bu davranışı birkaç faktör tetiklemektedir:

• Olasılıksal Tahmin: Model, gerçekler üzerinde akıcılık ve tutarlılığı önceliklendirir. Belirli bir kelime dizisi istatistiksel olarak olasıysa, gerçekte yanlış olsa bile, model bunu üretebilir. Bu kavram, modellerin anlamı anlamadan dil kalıplarını taklit ettiği stokastik papağanlarla ilgili araştırmalarda sıklıkla tartışılır. .
• Veri Kalitesi Sorunları: Eğitim için kullanılan büyük metin külliyatı çelişkiler, güncel olmayan bilgiler veya kurgu içerirse, model bu yanlışlıkları yeniden üretebilir.
• Kaynak Amnezi: LLM'ler büyük miktarda bilgiyi model ağırlıklarına sıkıştırır. Bu süreçte, genellikle belirli kaynaklarla olan bağlantılarını kaybederler ve bu da farklı kavramların veya olayların yanlış bir şekilde birleştirildiği "konfabülasyon"a yol açar. Bu, LLM'lerin belirli bir bilgiyi hatırlayamadığı, ancak aynı bilgiyi içeren başka bir bilgiyi hatırlayabildiği durumlarda ortaya çıkar. Bu, LLM'lerin belirli bir bilgiyi hatırlayamadığı, ancak aynı bilgiyi içeren başka bir bilgiyi hatırlayabildiği durumlarda ortaya çıkar.

Halüsinasyonun Gerçek Dünya Örnekleri

Halüsinasyonlar, zararsız yaratıcı süslemelerden ciddi gerçek hatalarına kadar çeşitli şekillerde ortaya çıkabilir:

• Yasal Uydurma: Hukukçuların AI'yı kullanarak dava özetleri hazırladıkları, ancak modelin argümanlarını desteklemek için var olmayan dava örnekleri ve alıntılar uydurduğu belgelenmiş örnekler vardır.
• Kod Oluşturma: AI asistanlarını kullanan geliştiriciler, modelin, sadece adı standart adlandırma kurallarına uygun olduğu için, aslında mevcut olmayan bir yazılım kütüphanesini içe aktarmayı veya bir işlevi çağırmayı önerdiği "paket halüsinasyonları" ile karşılaşabilirler.
• Biyografik Hatalar: Daha az tanınmış kişiler hakkında soru sorulduğunda, modeller kendilerine güvenerek onlara yanlış başarılar, doğum yerleri veya kariyer geçmişleri atfedebilirler, bu da birden fazla kişinin ayrıntılarını etkili bir şekilde harmanlamalarına neden olur.

Hafifletme Stratejileri

Halüsinasyonların sıklığını azaltmak, AI Güvenliği'nin ana odak noktasıdır. Mühendisler ve araştırmacılar, modelleri gerçekliğe dayandırmak için çeşitli teknikler kullanır:

• Geri Alma ile Güçlendirilmiş Üretim (RAG): Bu yöntem, LLM'yi genellikle bir vektör veritabanında indekslenen harici, güvenilir bir bilgi tabanına bağlar. Bir cevap üretmeden önce ilgili belgeleri geri alarak, model gerçek verilerle sınırlandırılır.
• Düşünce Zinciri Teşviki: Bu teşvik mühendisliği tekniği, karmaşık muhakemeyi ara adımlara bölerek modelin "çalışmasını göstermesini" teşvik eder ve bu da genellikle mantık hatalarını azaltır.
• İnsan Geri Bildiriminden Güçlendirme Öğrenimi (RLHF): İnce ayar aşamasında, insan değerlendiriciler modelin yanıtlarını sıralar. Halüsinasyonları cezalandırarak ve doğruluğu ödüllendirerek, model insan beklentileriyle daha iyi uyum sağlamayı öğrenir .

LLM'leri Bilgisayarla Görme ile Topraklama

Multimodal AI sistemlerinde, metin üretimi görsel veriler kullanılarak temellendirilebilir. Bir LLM'den bir sahneyi tanımlaması istenirse, orada olmayan nesneleri hayal edebilir. YOLO26 gibi yüksek hassasiyetli bir nesne algılayıcıyı entegre ederek, geliştiriciler LLM'ye mevcut nesnelerin gerçekçi bir listesini sağlayabilir ve çıktısını doğrulanmış algılamalarla sınırlayabilir.

Aşağıdaki Python , ultralytics paketi kullanarak doğrulanmış bir nesne listesi çıkarın. Bu liste, dil modeli komut istemleri için gerçekçi bir kısıtlama görevi görebilir.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

İlgili Kavramların Farklılaştırılması

Halüsinasyonları diğer yaygın AI hatalarından ayırt etmek önemlidir:

• Yapay zekadaki önyargı: Önyargı, çıktılarda sistematik bir önyargıyı ifade eder (örneğin, bir demografik grubu diğerine tercih etmek), halüsinasyon ise gerçeklerin doğruluğunda bir hatadır. Bir yanıt önyargısız ancak halüsinasyonlu olabilir (örneğin, "Ay peynirden yapılmıştır").
• Aşırı uyumlama ile karşılaştırıldığında: Aşırı uyumlama, bir model eğitim verilerini çok yakından ezberlediğinde ve yeni girdilere genelleme yapamadığında ortaya çıkar. Halüsinasyonlar genellikle bir model, veri eksikliği olan alanlara çok fazla genelleme yapmaya çalıştığında ortaya çıkar.
• Yanlış sınıflandırma ile karşılaştırıldığında: Nesne algılamada, bir arabayı kamyon olarak etiketlemek bir sınıflandırma hatasıdır (doğruluk sorunu), halüsinasyon değildir. Halüsinasyon, yanlış içeriğin üretilmesine özgüdür. Yanlış sınıflandırma ise, doğru içeriğin yanlış sınıflandırılmasıdır.

Aşağı akış hatalarını önlemek için veri bütünlüğü yüksek veri kümelerini yönetmek ve modelleri eğitmek isteyenler için Ultralytics , açıklama ve veri kümesi yönetimi için kapsamlı araçlar sunar. Ayrıca, NIST AI Risk Management Framework'ün rehberliği, üretim ortamlarında bu riskleri değerlendirmek ve azaltmak için standartlar sağlar.