Perplexity

الحيرة مقياس لمدى جودة تنبؤ نموذج احتمالي بتسلسل، وتُحسب بأخذ الأسّ لمتوسط سالب لوغاريتم الاحتمال الذي يسنده النموذج إلى كل رمز فعلي تالٍ. والقيم الأقل أفضل. وتعني حيرة مقدارها 10 أن عدم يقين النموذج، في المتوسط، يعادل اختياره بالتساوي من بين 10 خيارات في كل خطوة، ولهذا يُقرأ الرقم غالبًا بوصفه عامل التفرع الفعال. قدم فريدريك جيلينيك وروبرت ميرسر وليليت باهل وجيمس بيكر المقياس في IBM عام 1977 لقياس صعوبة مهام التعرف على الكلام، ولا يزال المقياس الداخلي القياسي لـنمذجة اللغة. فمثلًا، حقق GPT-2 من OpenAI، الذي يضم 1.5 مليار معلمة، حيرة مقدارها 17.48 على المعيار WikiText-103 عام 2019 من دون التدريب عليه.

يشير المصطلح أيضًا إلى أمرين لا صلة بينهما. فشركة Perplexity AI هي شركة لمحرك بحث بالذكاء الاصطناعي، ولدى t-SNE معلمة فائقة باسم perplexity تحدد تقريبًا عدد الجيران الذين تأخذهم كل نقطة في الحسبان عندما ينشئ t-SNE خريطة ثنائية الأبعاد للبيانات متعددة الأبعاد.

حساب الارتباك#

لتسلسل يضم N من الرموز، تكون الحيرة = exp(-(1/N) × مجموع log p(token_i | كل الرموز السابقة)). والكمية داخل الأس هي الانتروبيا المتقاطعة بين النص وتنبؤات النموذج، وهي دالة الخسارة نفسها المستخدمة في تدريب نماذج اللغة الكبيرة (LLMs). ويكون أساس اللوغاريتم e عند استخدام اللوغاريتمات الطبيعية، و2 عند استخدام لوغاريتمات الأساس 2، وتعطي الحيرة نفسها في الحالتين. وتستخدم خسارة الانتروبيا المتقاطعة في PyTorch اللوغاريتمات الطبيعية وتحسب المتوسط عبر الرموز افتراضيًا، لذا تكون حيرة نموذج اللغة ببساطة exp(loss).

import math

# Probability the model assigned to each correct next token
token_probs = [0.50, 0.25, 0.80, 0.40]

# Cross-entropy is the average negative log-likelihood, in nats
cross_entropy = -sum(math.log(p) for p in token_probs) / len(token_probs)
print(f"Cross-entropy: {cross_entropy:.3f}, perplexity: {math.exp(cross_entropy):.2f}")

# A model that spreads probability evenly over 10 tokens has perplexity 10
uniform = -sum(math.log(0.1) for _ in token_probs) / len(token_probs)
print(f"Uniform perplexity: {math.exp(uniform):.2f}")

تعطي الاحتمالات الأربعة إنتروبيا تقاطعية مقدارها 0.805 نات، وارتباكًا مقداره 2.24؛ أي إن سلوك النموذج يشبه الاختيار بين رمزين متساويي الاحتمال تقريبًا في كل خطوة. وتؤكد الحالة المنتظمة تفسير عامل التفرّع: إذ إن احتمالًا قدره 0.1 لكل رمز صحيح يعطي القيمة 10 بالضبط.

تتطلب المستندات الطويلة عناية. إذ يقيّم النموذج ذو نافذة السياق الثابتة النص في أجزاء، ولا ترى الرموز في بداية الجزء غير المتداخل إلا قدرًا ضئيلًا من السياق، ما يرفع الحيرة. وتتداخل الأجزاء في التقييم بنافذة منزلقة، بحيث يحصل كل رمز على أكبر قدر ممكن من السياق السابق وفق ما يسمح به النموذج، مقابل تكلفة حسابية أعلى.

المقارنة العادلة بين النماذج#

لا تجوز مقارنة الارتباك إلا بين نماذج قُيّمت على النص نفسه وباستخدام التقسيم إلى رموز نفسه. فالنموذج ذو المفردات الأكبر يقسّم النص إلى رموز أقل يصعب التنبؤ بها، لذا لا يُقارن ارتباكه لكل رمز مباشرةً بارتباك نموذج يستخدم رموزًا أصغر. ويزيل تطبيع مجموع لوغاريتم الاحتمالية بحسب عدد البايتات أو الأحرف، والإبلاغ عنه بوحدات البت لكل بايت أو لكل حرف، هذا الاعتماد.

يجب أيضًا ألا تكون بيانات الاختبار موجودة ضمن بيانات التدريب. فالنموذج الذي سبق أن رأى مقطعًا ما يسند إليه احتمالًا مرتفعًا على نحو غير معتاد، لذا يجعل هذا النوع من تسرّب البيانات الحيرة تبدو أفضل من الأداء الحقيقي. ويؤدي الأثر نفسه إلى هجمات استدلال العضوية، التي تحدد النصوص ذات الحيرة المنخفضة على نحو مريب باعتبارها مرجحة الوجود في بيانات التدريب.

تقيّم الحيرة تنبؤ الرمز التالي في نص ثابت. وتخضع نماذج المحادثة لـضبط التعليمات والتعلم المعزز من التغذية الراجعة البشرية (RLHF) كي تتبع الطلبات وتطابق تفضيلات البشر، لذا تُقارن بمعايير المهام وتقييمات تفضيلات البشر.

استخدامات تتجاوز مقارنة النماذج#

تنسيق البيانات استخدام رئيسي لهذا المقياس. فقد قيّم خط معالجة CCNet، الذي أصدره باحثو Facebook AI عام 2019، صفحات Common Crawl باستخدام نموذج لغة مدرّب على ويكيبيديا، وقسمها بحسب الحيرة إلى أثلاث عليا ووسطى ودنيا، مع اعتبار الثلث الأعلى ذي الحيرة المنخفضة أعلى النصوص جودةً. وترشح كثير من خطوط المعالجة الخاصة بالتدريب المسبق بيانات الويب بطريقة مشابهة، وهي خطوة من تنظيف البيانات على نطاق الويب. كما تقيّم كواشف النصوص المولّدة بالذكاء الاصطناعي، مثل GPTZero، الحيرة أيضًا، لأن النص المأخوذ من نموذج لغة يميل إلى أن يكون أسهل توقعًا من الكتابة البشرية.

تنطبق الصيغة على أي نموذج دُرّب باستخدام الإنتروبيا التقاطعية. وتُدرّب نماذج التصنيف من Ultralytics YOLO26 بخسارة الإنتروبيا التقاطعية المتوسطة؛ لذا تمثل exp(validation loss) الارتباك على تسميات الفئات الصحيحة. وتقابل خسارة تحقق مقدارها 0.35 قيمة ارتباك تقارب 1.42، ما يعني أن النموذج يوزّع ثقته في صورة متوسطة كما لو كان مترددًا بين نحو 1.4 فئة.