Halüsinasyon (LLM'lerde)

Bu bağlamda Büyük Dil Modelleri (LLM'ler)Bir üretici model kendinden emin ve sözdizimsel olarak akıcı bir içerik ürettiğinde bir halüsinasyon meydana gelir, ancak gerçekte yanlış, saçma veya kaynak materyale sadık olmayan. Standart veritabanı erişim hatalarının aksine, halüsinasyonlar Üretken Yapay Zeka vardır genellikle kulağa mantıklı gelmekte ve kullanıcıların bağımsız doğrulama yapmadan bunları detect etmesini zorlaştırmaktadır. Bu fenomen öncelik veren bu modellerin temel tasarımından kaynaklanmaktadır. metin oluşturma dayalı doğruluk doğrulamasından ziyade istatistiksel olasılık. Halüsinasyonları anlamak, güvenli yapay zeka kullanımı için kritik önem taşıyor sistemlerinde, özellikle de sağlık, finans ve hukuk hizmetleri gibi yüksek riskli sektörlerde.

LLM'ler Neden Halüsinasyon Görür?

Halüsinasyonun birincil nedeni Transformatör mimarlık ve Temel modeller oluşturmak için kullanılan eğitim hedefleri. Bu sistemler bir sonraki belirteç kalıplara dayalı bir dizide büyük miktarda öğrenilen eğitim verileri. İçsel bir "gerçek" veya "kurgu" kavramına sahip değildirler; daha ziyade, "gerçek" veya "kurgu "yu model alırlar. kelimelerin birlikte görünme olasılığı.

Bu davranışa katkıda bulunan çeşitli faktörler vardır:

• Veri Sınırlamaları: Eğitim külliyatı çelişkili, eski veya yanlış bilgiler içeriyorsa, model bu hataları yeniden üretebilir. Bu durum genellikle şu konularla ilgili araştırmalarda tartışılmaktadır stokasti̇k papağanlarModellerin anlamı anlamadan dilsel formları taklit ettiği durumlarda.
• Sıkıştırma Yapıtları: LLM'ler internet bilgisini sabit bir dizi parametreye sıkıştırır. Bu sıkıştırma sırasında nüanslar kaybolabilir ve farklı kavramların bir araya gelmesine yol açabilir.
• Çıkarım Belirsizliği: Bir model kendi bilgi dağılımının dışında bir istemle karşılaştığında, varsayılan olarak Bilgisizliği kabul etmek yerine istatistiksel olarak en olası yanıtı üretme davranışı, genellikle "konfabülasyon."

Halüsinasyonun Gerçek Dünya Örnekleri

Halüsinasyonlar, ince yanlışlıklardan tamamen uydurmalara kadar çeşitli şekillerde ortaya çıkabilir:

• Yasal Dava Uydurma: Kamuoyunda geniş yankı uyandıran bir olayda, bir hukuk profesyoneli LLM'yi vaka araştırması yapmak. Model, çeşitli hususlara atıfta bulunan yasal bir özet oluşturdu var olmayan mahkeme davaları uydurma alıntılar ve yargı görüşleriyle yaptırımlara yol açmıştır.
• Kodlama Kütüphanesi İcadı: Yapay zeka kodlama asistanlarını kullanan geliştiriciler bazen önerilerle karşılaşıyor gerçekte var olmayan yazılım kütüphaneleri veya API yöntemleri için. Model, makul bir işlev adı halüsinasyonu yaratır (örn, ultralytics.detect_everything()) gördüğü standart adlandırma kurallarını temel alır. Bu özel işlev hiç uygulanmamış olsa bile eğitim verileri.

Hafifletme Stratejileri

Halüsinasyonun azaltılması Yapay Zeka Güvenliği Araştırma. Çeşitli teknikler şu anda modelleri gerçekliğe dayandırmak için kullanılmaktadır:

• Geri Alımla Artırılmış Üretim (RAG): Bu yöntem LLM'yi güvenilir bir harici bilgiye bağlar taban, örneğin bir vektör veritabanı. Model, yalnızca dahili belleğe güvenmek yerine, bir yanıt oluşturmadan önce ilgili belgeleri alır. Hakkında daha fazla bilgi edinebilirsiniz RAG doğruluğu nasıl artırır? kurumsal uygulamalarda.
• Hızlı Mühendislik: Gibi teknikler Düşünce Zinciri Yönlendirmesi modeli, mantıksal hataları azalttığı ve iyileştirdiği gösterilen muhakemesini adım adım açıklamaya teşvik etmek olgusal tutarlılık.
• İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF): Geliştiriciler şunları kullanır İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF) ince ayar aşamasında modeli halüsinasyonlar için cezalandırmak ve çıktılarını insan tercihleriyle uyumlu hale getirmek doğruluk için.
• Çok Modlu Topraklama: Görme-dil görevlerinde, halüsinasyonlar metin doğrulanarak azaltılabilir 'den yapılandırılmış verilere karşı çıktı Bilgisayarla Görme (CV) modeller.

LLM'leri Bilgisayarla Görme ile Topraklama

Çok modlu iş akışlarında halüsinasyonları azaltmanın etkili bir yolu, yüksek doğrulukta nesne algılama doğrulamak için model LLM bir görüntüyü tanımlamadan önce görüntünün fiziksel içeriğini belirler. Nesnelerin doğrulanmış bir listesini LLM'nin bağlamında, orada olmayan unsurları icat etmesini önlersiniz.

Aşağıdaki örnekte nasıl kullanılacağı gösterilmektedir Ultralytics YOLO11 oluşturmak için Nesnelerin temel gerçek listesi, daha sonra üretici bir model için olgusal bir kısıtlama olarak hizmet edebilir.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Halüsinasyon ve Diğer Terminoloji

Halüsinasyonları diğer YZ hata türlerinden ayırt etmek önemlidir:

• Önyargıya karşı: Yapay Zeka'da Önyargı sistematik anlamına gelir çıktıdaki önyargı (örneğin, stereotipleştirme), halüsinasyon ise olgusal yanlışlık anlamına gelir. Bir ifade şu şekilde olabilir tarafsız ama halüsinasyonlu ya da gerçekçi ama taraflı olabilir.
• vs Doğruluk Hataları: Sınıflandırma görevlerinde, yanlış bir tahmin (bir köpeği kedi olarak etiketlemek gibi) bir halüsinasyon değil, bir doğruluk hatasıdır. Halüsinasyon aşağıdakilere özgüdür üretken yeni yaratma süreci İçerik.
• Aşırı Uyuma karşı: Bir yandan aşırı uyum ezberlemeyi içerir eğitim verilerine çok yakın olduğunda, model kendi verilerinin ötesinde genelleme yapmaya çalıştığında genellikle halüsinasyonlar ortaya çıkar. eğitim verileri ve başarısız olur.

Üretken modellerin değerlendirilmesine ilişkin daha fazla okuma için NIST Yapay Zeka Risk Yönetimi Çerçevesi güvenilirlik ve güvenlik standartlarına kapsamlı bir bakış sağlar. Buna ek olarak, araştırmacılar aşağıdakileri geliştirmeye devam etmektedir doğruluk kontrol algoritmaları gerçek zamanlı olarak halüsinatif içeriği otomatik olarak detect etmek ve işaretlemek için.