Semantic Entropy
تعرف على كيفية قياس الإنتروبيا الدلالية لعدم اليقين في معنى نماذج LLM، والتمييز بين الإجابات المتعارضة، ودعم تقييم أكثر أماناً للذكاء الاصطناعي واكتشاف الهلوسة.
تُقيِّس الإنتروبيا الدلالية مدى عدم اليقين لدى نموذج الذكاء الاصطناعي التوليدي بشأن معنى إجابته. فبدلاً من التعامل مع كل تنوع صياغي على أنه نتيجة مختلفة، تقوم بجمع الاستجابات المتكافئة دلالياً وتقييس مدى توزيع الاحتمالية عبر المعاني الناتجة. فإذا كانت الإجابات المتكررة تعبر عن فكرة واحدة متسقة، تكون الإنتروبيا الدلالية منخفضة. وإذا كانت تدعم عدة أفكار متضاربة، تكون مرتفعة، مما يشير إلى أن النموذج قد لا يعرف الإجابة الصحيحة.
هذا المققياس ذو صلة خاصة بـ نموذج لغوي كبير (LLM) أو أي نظام آخر ينتج لغة حرة، حيث يمكن التعبير عن المعنى نفسه من خلال العديد من تسلسلات الكلمات المختلفة.
كيف تعمل الإنتروبيا الدلالية#
الإنتروبيا هي قياس عام لعدم اليقين في توزيع احتمالي: فهي منخفضة عندما تتركز الاحتمالية على نتيجة واحدة ومرتفعة عندما تظل عدة نتائج معقولة. يوفر تعريف NIST للإنتروبيا المفهوم الأساسي القائم على نظرية المعلومات. (csrc.nist.gov)
يتبع سير عمل الإنتروبيا الدلالية عادةً أربع خطوط أساسية:
- توليد عدة استجابات لنفس المدخل باستخدام أخذ العينات.
- تجميع الاستجابات التي تنقل نفس المعنى.
- تقدير احتمالية كل معنى بناءً على تكراره أو احتمالية توليده.
- حساب الإنتروبيا عبر تلك المجموعات الدلالية.
على سبيل المثال، تنتمي عبارات "باريس" و"الإجابة هي باريس" و"عاصمة فرنسا هي باريس" إلى مجموعة معنى واحدة. بينما تنتمي "ليون" إلى مجموعة أخرى. قد تبالغ الإنتروبيا المعجمية في عدم اليقين عبر معاملة السلاسل الأربع على أنها مختلفة، بينما تدرك الإنتروبيا الدلالية أن السلاسل الثلاث الأولى متفقة.
قد تستخدم مرحلة التجميع الحكم البشري، أو الاستلزام النصي، أو التضمينات العددية مجتمعة مع مقياس تشابه مثل تشابه جيب التمام في scikit-learn.
from collections import Counter
from scipy.stats import entropy
# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
"Paris",
"Paris",
"Paris",
"Lyon",
"Unknown",
]
counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]
score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")يستخدم هذا المثال المبسط دالة إنتروبيا SciPy الموثقة. في نظام إنتاجي، يجب التحقق من صحة التجميع الدلالي بعناية لأن التجميع غير الصحيح قد يشوه النتيجة النهائية.
المفاهيم ذات الصلة والاختلافات الرئيسية#
تنتمي الإنتروبيا الدلالية إلى المجال الأوسع لـ قياس عدم اليقين، لكنها تتناول عدم اليقين بشأن المعاني بدلاً من التقيُّد بالتسميات أو الرموز أو التنبؤات العددية وحدها.
- تُقيِّس إنتروبيا الرموز عدم اليقين بشأن الرمز التالي أو تسلسل الرموز الكامل. وقد تُسند درجة عدم اليقين عالية لاختلافات الصياغة غير الضارة.
- تتحقق الموثوقية الذاتية مما إذا كانت التوليدات المتكررة تنتج إجابات متوافقة. وتوسع الإنتروبيا الدلالية هذه الفكرة من خلال تمثيل التوزيع النسبي للمعاني المختلفة.
- تُعد الثقة عادةً درِجة مرفقة بتنبؤ واحد. وبدلاً من ذلك، تقارن الإنتروبيا الدلالية بين عدة توليدات محتملة. لا ينبغي تفسير أي منهما تلقائياً على أنه احتمالية معايرة؛ إذ يجب تقييم معايرة النموذج مقارنة بالنتائج المرصودة. (scikit-learn.org)
- الهلوسة في نماذج LLM هي خطأ يكون فيه المحتوى المُولَّد خاطئاً أو غير مدعوم أو مضللاً. الإنتروبيا الدلالية هي إشارة تحذير وليست الخطأ بحد ذاته. قد تكشف الإنتروبيا المرتفعة عن إجابات متضاربة، بينما لا تثبت الإنتروبيا المنخفضة الصحة لأن النموذج قد يكرر باستمرار نفس الادعاء الخاطئ. وعليه، يمكن أن تظل الهلوسات واثقة ومتسقة داخلياً. (openai.com)
- تُخصِّص التجزئة الدلالية فئة لكل بكسل في الصورة. وعلى الرغم من مشاركتها لكلمة "دلالي"، إلا أنها مهمة رؤية حاسوبية وليست لها صلة بالإنتروبيا الخاصة بالمعاني المُولَّدة.
تطبيقات العالم الحقيقي#
مساعدو الإجابة عن الأسئلة: يمكن لمساعد دعم العملاء أخذ عينات من عدة إجابات قبل الرد. إذا اختلفت المخرجات حول ما إذا كان الضمان يغطي الضرر العرضي، فإن الإنتروبيا الدلالية المرتفعة يمكن أن تحفز استرجاع المستندات، أو طلب التوضيح، أو المراجعة البشرية. وبالاقتران مع التوليد المعزز بالاسترجاع (RAG)، يقلل هذا من احتمالية وصول ادعاء سياسة غير مدعوم إلى العميل.
دعم اتخاذ القرار بالرؤية واللغة: قد يصف نموذج الرؤية واللغة (VLM) صورة صناعية بأنها تُظهر "تآكلاً سطحياً" أو "بقايا زيوت" أو "تغير لون طبيعي" عبر توليدات متكررة. تشير الإنتروبيا الدلالية المرتفعة إلى اختلاف دلالي هادف قد يؤدي إلى قرار صيانة غير صحيح. ويمكن للنظام توجيه الصورة إلى فاحص بدلاً من التعامل مع وصف واحد بطلاقة على أنه نهائي.
الاستخدام العملي والقيود#
يجب التعامل مع الإنتروبيا الدلالية كعنصر واحد ضمن خط أنابيب تقييم قائم على المخاطر. ينبغي على الفرق اختبار ما إذا كانت الدرجات الأعلى تتوافق بالفعل مع المزيد من الأخطاء في مجال عملهم، واختيار العتبات وفقاً لعواقب الأخطاء، والاحتفاظ بمسار للامتناع عن الإجابة أو للمراجعة البشرية. يؤكد إطار عمل إدارة المخاطر للذكاء الاصطناعي من NIST على قياس عدم اليقين ربط نتائج التقييم بمراقبة المخاطر المستمرة. (airc.nist.gov)
تعتبر هذه التقنية أكثر ملاءمة للمخرجات المُولَّدة المفتوحة. تتطلب تنبؤات الرؤية الحاسوبية المنظمة طرق تقييم مختلفة: وضع التحقق من Ultralytics يقيس الأداء مقارنة بالبيانات المُصنَّفة، بينما يمكن للإنتروبيا الدلالية تقييم أي شرح نصي حر يُضاف بواسطة مكون متعدد الوسائط.
يجب على فرق الإنتاج أيضاً تتبع توزيعات الدرجات، وفئات الأعطال، وزمن الوصول، والتغيرات في بيانات الإدخال. توجيهات جوجل حول مراقبة أنظمة التعلم الآلي الإنتاجية توصي بالتسجيل والتنبيه لانحراف التنبؤ وتدهور الجودة. يمكن لـ مراقبة نشر منصة Ultralytics دعم سير عمل التعليق، والتدريب، والنشر، والمراقبة الأوسع المحيط بنماذج الرؤية. يمكن للإنتروبيا الدلالية تحديد الحالات غير المؤكدة داخل سير العمل هذا، لكن التحقق الواقعي والاختبار التمثيلي يظلان أمرين أساسيين.
