Chain of Verification (CoVe)

Doğrulama Zinciri (CoVe), Büyük Dil Modellerinin (LLMs) çıktılarındaki yanlışlıkları ve olgusal hataları azaltmak için tasarlanmış gelişmiş bir istem mühendisliği tekniğidir. Yapay zekâ sistemleri daha karmaşık hâle geldikçe, güvenle yanlış bilgi üretme eğilimleri—LLM halüsinasyonu olarak bilinen bir olgu—önemli bir zorluk olmaya devam ediyor. CoVe, nihai yanıtı kullanıcıya sunmadan önce modeli kendi ilk yanıtlarını sistematik olarak doğrulamaya zorlayarak bu sorunu ele alır. Bu öz-düzeltme mekanizması, çeşitli sektörlerdeki üretken yapay zekâ uygulamalarının güvenilirliğini önemli ölçüde artırır.

Doğrulama Süreci Nasıl Çalışır#

CoVe metodolojisi, üretim sürecini birbirini izleyen dört farklı adıma ayırır. Bu yapılandırılmış yaklaşım, insanların olgu doğrulama iş akışlarını yansıtır ve yapay zekâ güvenliğini ve uyumunu iyileştirmek amacıyla önde gelen yapay zekâ kuruluşları tarafından aktif olarak araştırılır.

• İlk Yanıtı Taslak Olarak Oluştur: Model, kullanıcının sorgusuna temel bir yanıt üretir. Bu taslak, doğrulanmamış veya halüsinasyon ürünü iddialar içerebilir.
• Doğrulama Sorularını Planla: Model kendi taslağını analiz eder ve ilk metinde öne sürülen olgusal iddiaları doğrulamak üzere tasarlanmış, belirli ve hedefe yönelik sorulardan oluşan bir liste üretir.
• Bağımsız Doğrulamaları Gerçekleştir: Model, doğrulama sorularını ilk taslağın bağlamına dayanmadan bağımsız olarak yanıtlar. Bu, modelin yalnızca kendi önyargılarını veya önceki hatalarını doğrulamasını engeller.
• Nihai Doğrulanmış Çıktıyı Oluştur: Model, yeni doğrulanmış gerçekleri kullanarak ilk taslağı gözden geçirir, yanlışlıkları kaldırır ve iyileştirilmiş, gerçeğe uygun bir yanıt sunar.

CoVe'yi İlgili Tekniklerden Ayırma#

CoVe çoğu zaman Düşünce Zinciri İstemini ile karşılaştırılsa da bu iki yaklaşım farklı amaçlara hizmet eder. Düşünce Zinciri, bir problemi çözmek için karmaşık mantıksal akıl yürütmeyi adım adım bileşenlerine ayırarak modeli "nasıl çalıştığını göstermeye" teşvik eder. Buna karşılık Doğrulama Zinciri, bir taslak oluşturulduktan sonra iddiaları denetleyip gözden geçirerek özellikle olgusal doğruluğu hedefler. Ayrıca CoVe, doğrulama adımının yalnızca modelin iç ağırlıklarına dayanmak yerine harici bir vektör veritabanından gerçek referans verilerini aldığı Getirimle Artırılmış Üretim (RAG) işlem hatlarıyla birlikte kullanılabilir.

Gerçek Dünya Uygulamaları#

CoVe, olgusal doğruluğun kritik olduğu alanlarda son derece faydalıdır. Geliştiriciler bu öz-denetim döngüsünü entegre ederek yapay zekâ sistemlerine daha yüksek riskli görevlerde güvenebilir.

• Tıbbi ve Sağlık Hizmetleri Asistanları: Bir yapay zekâ hasta semptomlarını veya tıbbi literatürü özetlediğinde CoVe, öneriler sunmadan önce sistemin ilaç etkileşimlerini, dozajları ve tanı ölçütlerini yerleşik tıbbi bilgilerle doğrulamasını sağlar.
• Otomatik Endüstriyel Raporlama: Akıllı fabrikalarda bir LLM, görsel denetim günlüklerine dayalı bir özet rapor oluşturabilir. CoVe'yi bilgisayarlı görü modelleriyle birleştirerek dil modeli, günlük bakım raporunu tamamlamadan önce belirli bir kusurun üretim hattında gerçekten tespit edilip edilmediğini doğrulamak için görü sistemine sorgu gönderebilir.

Görü Modelleriyle Doğrulamayı Gerçek Verilere Dayandırma#

Geliştiriciler, CoVe'nin "Gerçekleştir" adımını geliştirmek için gerçek referans verileri elde etmek üzere güvenilir makine öğrenimi modellerine sorgu gönderebilir. Örneğin, nesne algılama için Ultralytics YOLO26 kullanıldığında bir LLM, bir görüntü hakkındaki fiziksel iddiaları doğrulayabilir. Ekipler, bu veri kümelerini verimli bir şekilde yönetebilir ve bu görü modellerini kullanımı kolay Ultralytics Platformu ile dağıtabilir.

Aşağıdaki Python örneği, bir LLM'nin Doğrulama Zinciri adımını yürütürken gerçeklere dayalı bir temel kaynağı olarak kullanılabilecek doğrulanmış bir nesne listesini çıkarmak için ultralytics paketinin nasıl kullanılacağını gösterir.

from ultralytics import YOLO

# Load the YOLO26n model to act as a factual verification source
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects for CoVe grounding
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# Pass this factual list to the LLM during its verification execution step
print(f"CoVe Ground Truth Facts: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

PyTorch gibi yüksek performanslı görü çerçevelerinden alınan deterministik çıktıları CoVe işlem hattına entegre ederek geliştiriciler, üretken hataları büyük ölçüde azaltabilir ve sağlam, güvenilir çok modlu yapay zekâ uygulamaları oluşturabilir.