Semantic Entropy

يقيس الإنتروبيا الدلالية مدى عدم يقين نموذج الذكاء الاصطناعي التوليدي بشأن معنى إجابته. فبدلًا من اعتبار كل اختلاف في الصياغة نتيجة مختلفة، تجمع الإنتروبيا الدلالية الإجابات المتكافئة دلاليًا وتقيس مدى تشتت الاحتمالات بين المعاني الناتجة. وإذا عبّرت الإجابات المتكررة عن فكرة واحدة متسقة، كانت الإنتروبيا الدلالية منخفضة. أما إذا أيدت عدة أفكار متعارضة، فترتفع الإنتروبيا، ما يشير إلى احتمال عدم معرفة النموذج بالإجابة الصحيحة.

يكون هذا المقياس ملائماً بوجه خاص لـنموذج لغوي كبير (LLM) أو أي نظام آخر ينتج لغة حرة الصياغة، حيث يمكن التعبير عن المعنى نفسه بتسلسلات كلمات مختلفة كثيرة.

آلية عمل الإنتروبيا الدلالية#

الإنتروبيا مقياس عام لعدم اليقين في توزيع احتمالي: تكون منخفضة عندما يتركز الاحتمال على نتيجة واحدة، ومرتفعة عندما تظل عدة نتائج محتملة. يقدم تعريف NIST للإنتروبيا المفهوم الأساسي المستند إلى نظرية المعلومات. (csrc.nist.gov)

يتبع سير عمل الإنتروبيا الدلالية عادةً أربع خطوات:

1. إنشاء عدة استجابات للمدخل نفسه باستخدام أخذ العينات.
2. تجميع الاستجابات التي تنقل المعنى نفسه.
3. تقدير احتمال كل معنى استناداً إلى تكراره أو احتمال توليده.
4. حساب الإنتروبيا عبر تلك المجموعات الدلالية.

على سبيل المثال، تنتمي «باريس» و«الإجابة هي باريس» و«عاصمة فرنسا هي باريس» إلى مجموعة معنى واحدة. أما «ليون» فتنتمي إلى مجموعة أخرى. قد تبالغ الإنتروبيا المعجمية في تقدير عدم اليقين باعتبار السلاسل الأربع مختلفة، في حين تدرك الإنتروبيا الدلالية اتفاق العبارات الثلاث الأولى.

قد تستخدم مرحلة التجميع حكماً بشرياً أو الاستلزام النصي أو التضمينات العددية، إلى جانب مقياس تشابه مثل التشابه الجيبي في scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

يستخدم هذا المثال المبسط دالة الإنتروبيا الموثقة في SciPy. في نظام إنتاجي، يجب التحقق بعناية من التجميع الدلالي، لأن التجميع غير الصحيح قد يشوه الدرجة النهائية.

المفاهيم ذات الصلة والفروق الأساسية#

تندرج الإنتروبيا الدلالية ضمن المجال الأوسع لـتكميم عدم اليقين، لكنها تتناول عدم اليقين بشأن المعاني، لا التسميات أو الرموز أو التنبؤات العددية وحدها.

• إنتروبيا الرموز تقيس عدم اليقين بشأن الرمز التالي أو تسلسل الرموز الكامل. وقد تنسب درجة عالية من عدم اليقين إلى اختلافات صياغية غير مؤذية.
• الاتساق الذاتي يتحقق مما إذا كانت عمليات التوليد المتكررة تنتج إجابات متوافقة. وتوسع الإنتروبيا الدلالية هذه الفكرة بتمثيل التوزيع النسبي للمعاني المختلفة.
• الثقة هي عادةً درجة مرتبطة بتنبؤ واحد. أما الإنتروبيا الدلالية فتقارن بين عمليات توليد محتملة متعددة. ولا ينبغي تفسير أي منهما تلقائياً على أنها احتمال مُعاير؛ إذ يجب تقييم المعايرة بالاستناد إلى النتائج المرصودة. (scikit-learn.org)
• الهلوسة في نماذج LLM خطأ يكون فيه المحتوى المُولّد زائفاً أو غير مدعوم أو مضللاً. الإنتروبيا الدلالية إشارة تحذير وليست الخطأ نفسه. قد تكشف الإنتروبيا العالية عن إجابات متضاربة، في حين أن الإنتروبيا المنخفضة لا تثبت الصحة، لأن النموذج قد يكرر الادعاء الخاطئ نفسه باستمرار. لذلك قد تظل الهلوسات واثقة ومتسقة داخلياً. (openai.com)
• التجزئة الدلالية تسند فئة إلى كل بكسل في الصورة. وعلى الرغم من اشتراكها مع الإنتروبيا في كلمة «دلالية»، فهي مهمة في الرؤية الحاسوبية ولا ترتبط بالإنتروبيا الخاصة بالمعاني المُولّدة.

تطبيقات عملية#

مساعدو الإجابة عن الأسئلة: يمكن لمساعد دعم العملاء أخذ عينات من عدة إجابات قبل الرد. إذا اختلفت المخرجات بشأن ما إذا كان الضمان يغطي التلف العرضي، فيمكن للإنتروبيا الدلالية العالية أن تؤدي إلى استرجاع المستندات أو طلب التوضيح أو المراجعة البشرية. وبالاقتران مع التوليد المعزز بالاسترجاع (RAG)، يقل احتمال وصول ادعاء غير مسند بشأن السياسة إلى العميل.

دعم اتخاذ القرار بالرؤية واللغة: قد يصف نموذج الرؤية واللغة (VLM) صورة صناعية بأنها تُظهر «تآكلاً سطحياً» أو «بقايا زيت» أو «تغير لون طبيعي» في عمليات توليد متكررة. وتشير الإنتروبيا الدلالية العالية إلى اختلاف جوهري قد يؤدي إلى قرار صيانة خاطئ. ويمكن للنظام إحالة الصورة إلى مفتش بدلاً من اعتبار وصف واحد سلس وحاسماً.

الاستخدام العملي والقيود#

ينبغي التعامل مع الإنتروبيا الدلالية على أنها مكوّن واحد ضمن مسار تقييم قائم على المخاطر. ينبغي للفرق اختبار ما إذا كانت الدرجات الأعلى تقابل فعلياً أخطاء أكثر في مجالها، واختيار العتبات وفقاً لعواقب الأخطاء، والإبقاء على مسار للامتناع عن الإجابة أو للمراجعة البشرية. ويشدد الإطار الأساسي لإدارة مخاطر الذكاء الاصطناعي من NIST على قياس عدم اليقين وربط نتائج التقييم برصد المخاطر المستمر. (airc.nist.gov)

تكون هذه الطريقة أنسب للمخرجات المُولّدة المفتوحة. وتتطلب تنبؤات الرؤية الحاسوبية المنظّمة أساليب تقييم مختلفة: إذ يقيس وضع التحقق من Ultralytics الأداء بالاستناد إلى بيانات معنونة، بينما يمكن للإنتروبيا الدلالية تقييم أي تفسير نصي حر يضيفه مكوّن متعدد الوسائط.

ينبغي لفرق الإنتاج أيضاً تتبع توزيعات الدرجات وفئات الإخفاق والكمون والتغيرات في بيانات الإدخال. وتوصي إرشادات Google بشأن مراقبة أنظمة تعلّم الآلة الإنتاجية بالتسجيل وإعداد التنبيهات لرصد انجراف التنبؤات وتدهور الجودة. ويمكن أن تدعم مراقبة النشر في منصة Ultralytics سير العمل الأوسع للتوسيم والتدريب والنشر والمراقبة المحيط بنماذج الرؤية. ويمكن للإنتروبيا الدلالية تحديد الحالات غير اليقينية ضمن سير العمل هذا، لكن يظل التحقق من صحة الوقائع والاختبار باستخدام بيانات ممثلة أمراً أساسياً.