Chain of Verification (CoVe)

سلسلة التحقق (CoVe) طريقة لصياغة المطالبات تقلل الهلوسات في مخرجات نماذج اللغة الكبيرة (LLM) بجعل النموذج يتحقق من صحة مسودته بنفسه. يكتب النموذج إجابة أولية، ثم يضع أسئلة تحقق قصيرة تختبر كل ادعاء واقعي فيها، ويجيب عن تلك الأسئلة بمعزل عن المسودة، ثم يكتب إجابة نهائية لا تحتفظ إلا بالادعاءات التي يدعمها التحقق. قدّم شهزاد دَليوالا وزملاؤه في Meta AI هذه الطريقة في ورقة عام 2023 بعنوان سلسلة التحقق تقلل الهلوسة في نماذج اللغة الكبيرة. وتنجح الطريقة لأن النماذج تجيب عن الأسئلة القصيرة والمركزة بدقة أعلى من دقتها عند ذكر الحقائق نفسها ضمن إجابة طويلة: ففي تجارب الأسئلة القائمة على التعداد الواردة في الورقة، لم يكن صحيحًا سوى نحو 17% من الشخصيات التي أدرجها Llama 65B، مع أن النموذج نفسه أجاب إجابة صحيحة عن نحو 70% من أسئلة التحقق الفردية.

آلية عمل سلسلة التحقق#

تنفّذ CoVe أربع خطوات باستخدام النموذج نفسه:

1. صياغة إجابة أولية مرجعية: يجيب النموذج عن الاستعلام بالطريقة المعتادة. فإذا طُلب منه ذكر سياسيين وُلدوا في مدينة نيويورك، فقد يذكر هيلاري كلينتون ودونالد ترامب ومايكل بلومبرغ.
2. وضع أسئلة التحقق: يقرأ النموذج مسودته ويكتب سؤالًا واحدًا لكل ادعاء قابل للتحقق، مثل «أين وُلدت هيلاري كلينتون؟» و«أين وُلد مايكل بلومبرغ؟».
3. الإجابة عن كل سؤال على نحو مستقل: يجيب النموذج عن الأسئلة في مطالبات جديدة لا تتضمن المسودة، كي لا يكرر ببساطة خطأه السابق. وُلدت كلينتون في شيكاغو، وبلومبرغ في بوسطن، بينما وُلد ترامب في كوينز.
4. صياغة الإجابة النهائية المنقّحة: يراجع النموذج المسودة على ضوء الإجابات، ويحذف أو يصحح كل ادعاء لم يصمد أمام التحقق، ولا يبقى في هذه الحالة سوى ترامب في القائمة.

تؤثر صرامة عزل كل سؤال في الخطوة الثالثة. قارنت الورقة بين أربعة أشكال: المشترك، حيث يحدث وضع الأسئلة والإجابة عنها في مطالبة واحدة لا تزال تتضمن المسودة؛ والخطوتين، حيث تُجاب جميع الأسئلة في مطالبة ثانية من دون المسودة؛ والمفصول، حيث يُجاب عن كل سؤال في مطالبته الخاصة؛ والمفصول مع المراجعة، الذي يضيف تحققًا صريحًا من كل إجابة بمقارنتها بالادعاء الأصلي. وقد هلوس كل شكل أبقى المسودة خارج مطالبات التحقق بدرجة أقل من الشكل المشترك، لأن النموذج الذي يستطيع رؤية مسودته يميل إلى تكرار أخطائه.

النتائج#

باستخدام Llama 65B، رفع CoVe الدقة في أسئلة القوائم على Wikidata من 0.17 إلى 0.36، ورفع F1 في معيار MultiSpanQA المغلق الكتاب من 0.39 إلى 0.48. وفي السير الذاتية المطوّلة، رفع متغير factor+revise FActScore، أي نسبة الحقائق الذرية المدعومة بموسوعة Wikipedia، من 55.9 إلى 71.4، متجاوزًا 58.7 المسجلة لـ ChatGPT و61.6 المسجلة لنظام PerplexityAI المعتمد على الاسترجاع. وتأتي هذه المكاسب على حساب زمن استجابة الاستدلال: إذ تتطلب المتغيرات المفككة استدعاءً إضافيًا واحدًا للنموذج لكل سؤال تحقق.

مقارنة CoVe بالتقنيات ذات الصلة#

• التلقين بسلسلة الأفكار: يطلب من النموذج الاستدلال خطوةً بخطوة قبل الإجابة، ما يساعد في المنطق والرياضيات. أما CoVe فيدقق الادعاءات الواقعية بعد إعداد مسودة.
• التوليد المعزز بالاسترجاع (RAG): يستند الجواب منذ البداية إلى المستندات المسترجعة. يعتمد CoVe الأصلي على معرفة النموذج نفسه فقط، ويمكن الجمع بينهما بصورة طبيعية عندما تُجاب أسئلة التحقق من محرك بحث أو فهرس مستندات.
• الإنتروبيا الدلالية: تكشف الهلوسات المحتملة بأخذ عينات من عدة إجابات وقياس مدى اختلاف معانيها. ويتجاوز CoVe ذلك إلى إصلاح الإجابة.
• مناظرة الذكاء الاصطناعي: يتجادل نموذجان حول موقفين متعارضين كي يتمكن محكّم من اكتشاف الأخطاء. أما CoVe فهو نموذج واحد يدقق في نفسه دون خصم.

التحقق من الادعاءات باستخدام الأدوات#

ليس من الضروري أن تُجاب أسئلة التحقق من ذاكرة النموذج. إذ توجّه خطوط المعالجة هذه الأسئلة إلى أدوات تحتوي على حقائق موثوقة: محرك بحث للحقائق العامة، أو قاعدة بيانات متجهية لمستندات الشركة، أو نموذج رؤية للتحقق من الادعاءات المتعلقة بصورة. عندما يكتب نموذج رؤية ولغة تعليقًا توضيحيًا لصورة، يستطيع نموذج كشف الكائنات Ultralytics YOLO26 الإجابة عن كل سؤال «كم عدد؟» استنادًا إلى التعليق، بصورة مستقلة عن المسودة:

from collections import Counter

from ultralytics import YOLO

# Claims extracted from a draft caption: "A bus, four people, and a bicycle on a street"
draft_counts = {"bus": 1, "person": 4, "bicycle": 1}

# Answer each verification question with a detector that never sees the draft
model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]
detected = Counter(result.names[int(c)] for c in result.boxes.cls)

# Keep claims the detector confirms and mark the rest for revision
for name, claimed in draft_counts.items():
    verdict = "keep" if detected[name] == claimed else f"revise to {detected[name]}"
    print(f"How many '{name}'? Draft: {claimed}, detector: {detected[name]} -> {verdict}")

يمثل كل سطر مطبوع سؤال تحقق واحدًا، مع الادعاء الوارد في المسودة، والإجابة المستقلة من الكاشف، والقرار الذي يُطبّق على التعليق التوضيحي النهائي.

تطبيقات عملية#

• الرعاية الصحية: تتحقق المساعدات التي تلخص الأدبيات الطبية من أسماء الأدوية وجرعاتها وتفاعلاتها عبر أسئلة منفصلة قبل أن يطّلع الطبيب على الملخص.
• الإجابة عن الأسئلة: تتحقق مساعدات البحث والدعم من إجابات القوائم والتواريخ والحقائق المتعلقة بالسير الذاتية، وهي أنواع الادعاءات التي سجلت فيها الورقة أكبر المكاسب.
• تقارير التصنيع: يتحقق نموذج لغوي كبير يصوغ تقريرًا عن الوردية من كل عيب يذكره بمقارنته بسجلات نظام الفحص قبل إيداع التقرير.
• معالجة المستندات: تُطرح القيم المستخرجة من العقود أو الفواتير مجددًا، حقلًا واحدًا في كل مرة، ثم تُقارن بالاستخراج الأول.

القيود#

يرصد CoVe الأخطاء التي يرتكبها النموذج على نحو غير متسق، لكنه لا يستطيع اكتشاف اعتقاد خاطئ يتمسك به النموذج في كل السياقات، لأن الإجابة المستقلة ستكرر الخطأ نفسه. وهو يتحقق من الادعاءات الواقعية ويترك الاستدلال المعيب بين الحقائق الصحيحة دون معالجة، كما يضاعف عدد استدعاءات النموذج لكل إجابة. وحتى أفضل متغير في الورقة ترك 28.6% من الحقائق الذرية في سيره الذاتية دون دعم، وهي النسبة المتبقية من FActScore البالغ 71.4.