الهلوسة (في النماذج اللغوية الكبيرة)
اكتشف أسباب الهلوسة في نماذج اللغة الكبيرة (LLMs) واستكشف الاستراتيجيات الفعالة للتخفيف من عدم الدقة في المحتوى الذي يتم إنشاؤه بواسطة الذكاء الاصطناعي.
في سياق نماذج اللغة الكبيرة (LLMs)، يشير مصطلح "هلوسة" إلى ظاهرة يقوم فيها النموذج بإنشاء نص يبدو واثقًا ومعقولًا ولكنه غير صحيح من الناحية الواقعية، أو غير منطقي، أو غير قائم على البيانات المصدر المقدمة. هذه النماذج، المصممة لـ إنشاء النصوص المتقدم، يمكن أن تخترع في بعض الأحيان الحقائق أو المصادر أو التفاصيل، وتقديمها كما لو كانت صحيحة. يحدث هذا لأن الهدف الأساسي لـ نماذج اللغة الكبيرة هو توقع الكلمة التالية في التسلسل لتشكيل جمل متماسكة، وليس التحقق من صحة المعلومات التي يتم إنشاؤها. يعد فهم وتخفيف الهلوسات تحديًا رئيسيًا في جعل الذكاء الاصطناعي التوليدي أكثر موثوقية.
لماذا تهلوس نماذج اللغات الكبيرة (LLMs)؟
الهلوسات ليست خداعًا متعمدًا ولكنها نواتج ثانوية لكيفية بناء وتدريب نماذج اللغات الكبيرة (LLMs). تشمل الأسباب الرئيسية ما يلي:
- عيوب بيانات التدريب: تتعلم نماذج مثل GPT-3 و GPT-4 من كميات هائلة من النصوص من الإنترنت، والتي تحتوي حتماً على أخطاء ومعلومات قديمة و تحيز خوارزمي. يتعلم النموذج هذه الأنماط من بيانات التدريب الخاصة به دون فهم جوهري للحقيقة.
- التصميم المعماري: تم تحسين بنية Transformer الأساسية لمطابقة الأنماط و نمذجة اللغة، وليس للاسترجاع الواقعي أو الاستدلال المنطقي. يمكن أن يؤدي ذلك إلى ما يسميه بعض الباحثين "ببغاء عشوائي"، وهو كيان يمكنه تقليد اللغة دون فهم معناها.
- الغموض في وقت الاستدلال: أثناء الإنشاء، إذا كان النموذج غير متأكد من أفضل رمز مميز تالٍ، فقد "يملأ الفجوات" بمعلومات معقولة ولكنها ملفقة. يمكن أن يؤدي تعديل معلمات الاستدلال مثل درجة الحرارة في بعض الأحيان إلى تقليل ذلك، ولكنه يظل تحديًا أساسيًا. للحصول على نظرة عامة فنية، راجع هذا الاستطلاع حول هلوسة LLM من arXiv.
أمثلة واقعية للهلوسة
- بحث قانوني: طلب محامٍ يستخدم مساعدًا يعمل بالذكاء الاصطناعي لإجراء بحث عن قضية ما العثور على سوابق قانونية. استشهد برنامج الدردشة الآلي بالعديد من قضايا المحاكم الملفقة بالكامل، بما في ذلك أسماء القضايا والتحليلات القانونية، والتي كانت معقولة ولكنها غير موجودة. أبرز هذا الحادث الواقعي المخاطر الجسيمة لنشر نماذج اللغة الكبيرة في المجالات ذات المخاطر العالية دون التحقق من الحقائق بشكل قوي.
- توصيات المنتجات: يسأل المستخدم برنامج الدردشة الآلي عن "أفضل حقيبة ظهر للمشي لمسافات طويلة مع لوحة شمسية مدمجة". قد يوصي نموذج اللغة الكبير (LLM) بثقة بنموذج معين، ويصف ميزاته بالتفصيل، حتى لو كان هذا المنتج أو مجموعة الميزات غير موجودة. يجمع النموذج بين المفاهيم من بيانات التدريب الخاصة به لإنشاء منتج معقول ولكنه وهمي.
كيفية تقليل الهلوسات
يعمل الباحثون والمطورون بنشاط على العديد من استراتيجيات التخفيف:
الهلوسة مقابل أخطاء الذكاء الاصطناعي الأخرى
