Semantic Entropy
يقيس الانتروبي الدلالي عدم يقين نموذج اللغة الكبير بشأن معاني الإجابات التي أخذ عينات منها، لا صياغتها، ما يساعد على تحديد التلفيقات المحتملة.
الإنتروبيا الدلالية مقياس لمدى عدم يقين نموذج اللغة الكبير (LLM) بشأن معنى إجابته؛ ويُحسب ذلك بأخذ عينات لعدة إجابات عن السؤال نفسه، وتجميع الإجابات التي تقول الشيء نفسه، ثم حساب الإنتروبيا على مستوى المجموعات. فإذا صاغت عشر عينات إجابة واحدة بعشر طرق، كانت الإنتروبيا الدلالية صفرًا؛ أما إذا قدمت ثلاث إجابات مختلفة، فكانت مرتفعة، وكان النموذج على الأرجح يخمّن. قدّمها لورينز كون ويارين غال وسيباستيان فاركوهار من جامعة أكسفورد في ICLR 2023 في ورقة عدم اليقين الدلالي: الثوابت اللغوية لتقدير عدم اليقين في توليد اللغة الطبيعية، وطبّقها بحث في Nature عام 2024، أعدّه فاركوهار ويانيك كوسن وكون وغال، على كشف الهلوسات.
يتناول بحث Nature نوعًا واحدًا من الهلوسات، يسميه الاختلاق: ادعاءات خاطئة واعتباطية في آنٍ واحد، تتغير بتغير البذرة العشوائية المستخدمة في أخذ العينات. ولا تستطيع الإنتروبيا العادية المحسوبة على الرموز المُولَّدة عزل هذا النوع، لأن «باريس» و«إنها باريس» و«العاصمة هي باريس» تسلسلات رموز مختلفة ذات معنى واحد؛ لذا يبدو النموذج الذي يعرف الإجابة غير واثق.
كيفية حساب الإنتروبيا الدلالية#
- خذ عينات لنحو 10 إجابات عن الموجّه نفسه، مع درجة حرارة أخذ عينات غير صفرية.
- جمّع الإجابات وفق الاستلزام ثنائي الاتجاه: تتشارك إجابتان في المعنى إذا استلزمت كل منهما الأخرى، وفق حكم نموذج استدلال لغوي طبيعي مثل DeBERTa-large-MNLI أو نموذج LLM عام، وكان GPT-3.5 هو المستخدم في التجارب الرئيسية لبحث Nature. وتمثل هذه الخطوة شكلًا من فهم اللغة الطبيعية (NLU).
- قدّر احتمال كل مجموعة بجمع احتمالات التسلسلات لإجاباتها، أو، عندما تخفي واجهة API مغلقة احتمالات الرموز، باستخدام نسبة العينات في المجموعة، وهي صيغة تسمى الإنتروبيا الدلالية المتقطعة.
- احسب الإنتروبيا على احتمالات المجموعات.
لا تحتاج الإنتروبيا الدلالية المتقطعة إلا إلى الإجابات ومجموعاتها. يقارن المقتطف أدناه بينها وبين الإنتروبيا الساذجة المحسوبة على السلاسل الخام لسؤالين، مع إسناد المجموعات بالطريقة التي سيستخدمها نموذج استلزام:
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")ينتج عن السؤالين أربعة نصوص مختلفة من أصل خمس عينات، لذا تبلغ الإنتروبيا الساذجة 1.92 بت لكل منهما. لكن الإنتروبيا الدلالية تميّز بينهما: 0.00 بت لعاصمة البلد، حيث تعني كل عينة كانبيرا، و1.37 بت لسنة التأسيس، حيث تتوزع العينات بين 1913، وهي السنة الصحيحة، و1908، حين اختير الموقع، و1927، حين انتقل البرلمان إليه.
النتائج والقيود#
عبر 30 توليفة من مجموعات بيانات الإجابة عن الأسئلة (TriviaQA وSQuAD وBioASQ وNQ-Open وSVAMP) والنماذج (LLaMA 2 Chat وFalcon Instruct وMistral Instruct)، ميّزت الإنتروبيا الدلالية الإجابات الخاطئة من الصحيحة بمتوسط المساحة تحت منحنى ROC (AUROC) بلغ 0.790، مقابل 0.691 للإنتروبيا الساذجة و0.698 لمقياس P(True)، الذي يسأل النموذج عما إذا كانت إجابته صحيحة. وفي سير ذاتية كتبها GPT-4 عن 21 شخصًا، وقُسّمت إلى 150 ادعاءً واقعيًا، كان 45 منها خاطئًا، تفوقت الإنتروبيا الدلالية المتقطعة أيضًا على خطّي الأساس في تحديد الادعاءات الزائفة.
للطريقة قيود واضحة:
- الكلفة: نحو 10 عمليات توليد، إضافةً إلى فحوص الاستلزام الثنائية لكل سؤال. وتخفض مسابير الإنتروبيا الدلالية، التي قدّمها كوسن وزملاؤه عام 2024، ذلك إلى عملية توليد واحدة من خلال التنبؤ بالإنتروبيا الدلالية انطلاقًا من الحالات المخفية للنموذج.
- الأخطاء المتسقة: يعطي النموذج الذي تعلّم مفهومًا خاطئًا من بيانات التدريب الإجابة الخاطئة نفسها في كل مرة، لذا تظل الإنتروبيا الدلالية منخفضة، ولا يكشف الخطأ إلا التحقق من مصادر خارجية، كما في التوليد المعزّز بالاسترجاع (RAG).
- الإجابات الطويلة: تُقسّم الفقرات أولًا إلى ادعاءات منفردة، كما في تجربة السيرة الذاتية، قبل مقارنة معانيها.
الإنتروبيا الدلالية إحدى أدوات تكميم عدم اليقين في النصوص. ويقيس الارتباك مدى سهولة تنبؤ النموذج بنص ثابت، وتعتمد طريقة الاتساق الذاتي على تصويت الأغلبية بين إجابات سلسلة التفكير الناتجة عن أخذ العينات، بينما يحوّل التنبؤ المطابق درجات من هذا القبيل إلى مجموعات ذات تغطية مضمونة. وتقيس معايير مرجعية مثل الامتحان الأخير للبشرية الفجوة نفسها من الجانب الآخر، بمقارنة مستوى الثقة الذي تصرّح به النماذج بمعدل صحة إجاباتها.
ينطبق الفحص نفسه على نماذج الرؤية واللغة (VLMs) التي تصف ما اكتشفه كاشف. ترسل واجهة LLM من Ultralytics صورةً وسؤالًا إلى أي نموذج متوافق مع OpenAI، وتمرر وسائط الطلب دون تغيير؛ لذا يمكن لخط أنابيب أن يطرح السؤال نفسه مرات عدة حول صورة اكتشف فيها YOLO26 جسمًا موضع اهتمام، ثم يجمع الأوصاف التي يتلقاها.










