Chain of Verification (CoVe)

Doğrulama Zinciri (CoVe), büyük dil modeli (LLM) çıktısındaki halüsinasyonları azaltmak için modelin kendi taslağındaki bilgileri doğrulamasını sağlayan bir istemleme yöntemidir. Model önce bir yanıt yazar, içindeki her olgusal iddiayı sınayan kısa doğrulama soruları tasarlar, bu soruları taslaktan bağımsız olarak yanıtlar ve ardından yalnızca doğrulamanın desteklediği iddiaları içeren son bir yanıt yazar. Meta AI'dan Shehzaad Dhuliawala ve çalışma arkadaşları bu yöntemi 2023 tarihli Doğrulama Zinciri Büyük Dil Modellerindeki Halüsinasyonları Azaltıyor makalesinde tanıttı. Yöntem işe yarar; çünkü modeller kısa ve odaklı soruları, aynı bilgileri uzun bir yanıtın içinde ifade etmekten daha doğru yanıtlar. Makaledeki liste sorusu deneylerinde, Llama 65B'nin sıraladığı varlıkların yalnızca yaklaşık %17'si doğruydu; buna karşılık aynı model, tek tek doğrulama sorularının yaklaşık %70'ini doğru yanıtladı.

Doğrulama Zinciri Nasıl Çalışır#

CoVe aynı modelle dört adımda çalışır:

1. Bir başlangıç yanıtı taslağı oluştur: Model sorguyu olağan biçimde yanıtlar. New York'ta doğan siyasetçilerin adlarını sorarsan Hillary Clinton, Donald Trump ve Michael Bloomberg'i sıralayabilir.
2. Doğrulama soruları tasarla: Model taslağını okur ve doğrulanabilir her iddia için Where was Hillary Clinton born? ve Where was Michael Bloomberg born? gibi bir soru yazar.
3. Her soruyu bağımsız olarak yanıtla: Model, taslağı içermeyen yeni istemlerde soruları yanıtlar; böylece önceki hatasını basitçe tekrarlayamaz. Clinton Chicago'da, Bloomberg ise Boston'da doğmuştur; Trump ise Queens'te doğmuştur.
4. Gözden geçirilmiş son yanıtı yaz: Model, yanıtları temel alarak taslağı gözden geçirir ve doğrulamadan geçemeyen her iddiayı siler veya düzeltir; burada listede yalnızca Trump kalır.

Üçüncü adımda her sorunun ne ölçüde yalıtıldığı önemlidir. Makalede dört varyant karşılaştırıldı: planlama ve yanıtlamanın hâlâ taslağı içeren tek bir istemde gerçekleştiği ortak yöntem; tüm soruları taslak olmadan ikinci bir istemde yanıtlayan iki adımlı yöntem; her soruyu kendi isteminde yanıtlayan ayrıştırılmış yöntem ve her yanıtı özgün iddiaya göre açıkça kontrol eden ayrıştırma ve gözden geçirme yöntemi. Doğrulama istemlerinde taslağı dışarıda bırakan tüm varyantlar, ortak varyanta göre daha az halüsinasyon üretti; çünkü kendi taslağını görebilen bir model hatalarını yineleme eğilimindedir.

Sonuçlar#

Llama 65B ile CoVe, Wikidata liste sorularında kesinliği 0.17'den 0.36'ya çıkardı ve kapalı kitap MultiSpanQA kıyaslamasındaki F1 değerini 0.39'dan 0.48'e yükseltti. Uzun biyografilerde factor+revise varyantı, Wikipedia tarafından desteklenen atomik olguların yüzdesi olan FActScore değerini 55.9'dan 71.4'e çıkardı; bu değer, ChatGPT için bildirilen 58.7'nin ve bilgi erişimine dayalı PerplexityAI için bildirilen 61.6'nın üzerindeydi. Bu kazanımların bir bedeli var: çıkarım gecikmesi artıyor; faktörlü varyantlar, her doğrulama sorusu için fazladan bir model çağrısı gerektiriyor.

CoVe ve İlgili Teknikler#

• Düşünce zinciri istemi: Modelden yanıtlamadan önce adım adım akıl yürütmesini ister; bu, mantık ve matematik sorularında yardımcı olur. CoVe ise bir taslak oluşturulduktan sonra olgusal iddiaları denetler.
• Bilgi erişimiyle artırılmış üretim (RAG): Yanıtı en başından itibaren erişilen belgelere dayandırır. Özgün CoVe yalnızca modelin kendi bilgisine dayanır; doğrulama soruları bir arama motorundan veya belge dizininden yanıtlandığında iki yöntem doğal biçimde birleştirilebilir.
• Anlamsal entropi: Birkaç yanıt örnekleyip anlamlarının ne ölçüde farklılaştığını ölçerek olası halüsinasyonları tespit eder. CoVe bir adım daha ileri giderek yanıtı düzeltir.
• Yapay zekâ tartışması: İki model karşıt görüşleri savunur ve bir hakem hataları tespit edebilir. CoVe ise karşısında bir rakip olmadan kendi yanıtını denetleyen tek bir modeldir.

İddiaları Araçlarla Doğrulama#

Doğrulama sorularının modelin belleğinden yanıtlanması gerekmez. İş akışları bu soruları doğru bilgiyi barındıran araçlara yönlendirir: genel olgular için bir arama motoruna, şirket belgeleri için bir vektör veritabanına veya bir görüntüyle ilgili iddialar için bir görsel modeline. Bir görsel-dil modeli bir görüntü açıklaması yazdığında, bir Ultralytics YOLO26 nesne tespiti modeli, taslaktan bağımsız biçimde, "kaç tane" sorularının her birini açıklamadan yanıtlayabilir:

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

Yazdırılan her satırda tek bir doğrulama sorusu, taslaktaki iddia, dedektörün bağımsız yanıtı ve son açıklamada uygulanacak karar yer alır.

Gerçek Dünya Uygulamaları#

• Sağlık hizmetleri: Tıbbi literatürü özetleyen asistanlar, bir klinisyen özeti görmeden önce ilaç adlarını, dozları ve etkileşimleri ayrı sorularla doğrular.
• Soru yanıtlama: Arama ve destek asistanları, makalenin en büyük kazanımları ölçtüğü iddia türleri olan liste yanıtlarını, tarihleri ve biyografik olguları kontrol eder.
• Üretim raporları: Bir vardiya raporu hazırlayan LLM, rapor sunulmadan önce sözünü ettiği her kusuru denetim sisteminin kayıtlarıyla doğrular.
• Belge işleme: Sözleşmelerden veya faturalardan çıkarılan değerler, her seferinde tek bir alan yeniden sorularak ilk çıkarımla karşılaştırılır.

Sınırlamalar#

CoVe, modelin tutarsız biçimde yaptığı hataları yakalar; ancak modelin her bağlamda sahip olduğu yanlış bir inancı yakalayamaz, çünkü bağımsız yanıt aynı hatayı tekrarlar. Olgusal iddiaları denetler ama doğru olgular arasındaki hatalı akıl yürütmeye dokunmaz; ayrıca yanıt başına model çağrısı sayısını artırır. Makaledeki en iyi varyant bile biyografilerindeki atomik olguların %28.6'sını destekleyemedi; bu, 71.4 FActScore değerinin kalan kısmıdır.