Hallucination (in LLMs)
استكشف أسباب ومخاطر هلوسة الذكاء الاصطناعي في LLMs. تعلم كيفية تخفيف الأخطاء الواقعية باستخدام RAG، وRLHF، والتأريض مع Ultralytics YOLO26.
في مجال الذكاء الاصطناعي (AI)، تشير الهلوسة إلى ظاهرة يقوم فيها نموذج لغوي كبير (LLM) بإنشاء محتوى يتسم بالثقة والصحة اللغوية، ولكنه غير دقيق من الناحية الواقعية أو لا معنى له أو غير أمين لمدخلات المصدر. على عكس أخطاء البرامج القياسية التي قد تؤدي إلى تعطل النظام أو ظهور خلل مرئي، يتصرف النموذج المهلوس مثل ملفق مقنع، حيث يقدم معلومات خاطئة بنفس سلطة الحقائق الصحيحة. وهذا يفرض تحديات كبيرة على المؤسسات التي تنشر الذكاء الاصطناعي التوليدي في مجالات حساسة مثل الرعاية الصحية والقانون والتمويل، حيث تكون سلامة البيانات أمراً بالغ الأهمية.
Link to this sectionلماذا تحدث الهلوسة؟#
لفهم سبب هلوسة النماذج، من المفيد النظر في كيفية بنائها. تعتمد نماذج LLMs عادةً على بنية Transformer، والتي تعمل كمحرك تنبؤ متطور. بدلاً من الاستعلام عن قاعدة بيانات منظمة للحقائق التي تم التحقق منها، يتنبأ النموذج بـ token التالي في تسلسل بناءً على احتمالات إحصائية مستمدة من بيانات التدريب الخاصة به.
هناك عدة عوامل تدفع هذا السلوك:
- التخمين الاحتمالي: يعطي النموذج الأولوية للطلاقة والتماسك على حساب الحقيقة الواقعية. إذا كان تسلسل معين من الكلمات محتملاً إحصائياً - حتى لو كان خاطئاً من الناحية الواقعية - فقد يقوم النموذج بإنشائه. غالباً ما تتم مناقشة هذا المفهوم في الأبحاث المتعلقة بـ الببغاوات العشوائية، حيث تحاكي النماذج أنماط اللغة دون فهم المعنى.
- مشكلات جودة البيانات: إذا كانت مجموعة النصوص الضخمة المستخدمة في التدريب تحتوي على تناقضات أو معلومات قديمة أو خيال، فقد يعيد النموذج إنتاج هذه الأخطاء.
- فقدان ذاكرة المصدر: تضغط نماذج LLMs كميات هائلة من المعلومات في أوزان النموذج. في هذه العملية، غالباً ما تفقد الرابط بمصادر محددة، مما يؤدي إلى "الهذيان" حيث يتم دمج مفاهيم أو أحداث متميزة بشكل غير صحيح.
Link to this sectionأمثلة واقعية على الهلوسة#
يمكن أن تظهر الهلوسة بطرق مختلفة، من الزخارف الإبداعية غير الضارة إلى الأخطاء الواقعية الخطيرة:
- التلفيق القانوني: كانت هناك حالات موثقة حيث استخدم المتخصصون القانونيون الذكاء الاصطناعي لصياغة مذكرات، ليجدوا أن النموذج قد اخترع قضايا محكمة غير موجودة واستشهادات لدعم حجة ما.
- توليد الكود: قد يواجه المطورون الذين يستخدمون مساعدي الذكاء الاصطناعي "هلوسة الحزم"، حيث يقترح النموذج استيراد مكتبة برمجية أو استدعاء وظيفة غير موجودة في الواقع، ببساطة لأن الاسم يتبع اصطلاحات التسمية القياسية.
- أخطاء السيرة الذاتية: عند سؤال النماذج عن أفراد أقل شهرة، قد تنسب إليهم بثقة إنجازات غير صحيحة أو أماكن ميلاد أو تواريخ مهنية، مما يمزج تفاصيل من أشخاص متعددين بفعالية.
Link to this sectionاستراتيجيات التخفيف#
يعد تقليل تكرار الهلوسة محوراً رئيسياً لـ سلامة الذكاء الاصطناعي. يستخدم المهندسون والباحثون العديد من التقنيات لربط النماذج بالواقع:
- التوليد المعزز بالاسترجاع (RAG): تربط هذه الطريقة نموذج LLM بقاعدة معرفية خارجية وموثوقة، غالباً ما تتم فهرستها في قاعدة بيانات متجهة. من خلال استرجاع المستندات ذات الصلة قبل إنشاء إجابة، يتم تقييد النموذج بالبيانات الفعلية.
- سلسلة التفكير (Chain-of-Thought): تشجع تقنية هندسة الأوامر هذه النموذج على "إظهار عمله" من خلال تقسيم التفكير المعقد إلى خطوات وسيطة، مما يقلل غالباً من أخطاء المنطق.
- التعلم التعزيزي من التغذية الراجعة البشرية (RLHF): خلال مرحلة الضبط الدقيق، يقوم المقيمون البشريون بترتيب استجابات النموذج. من خلال معاقبة الهلوسة ومكافأة الصدق، يتعلم النموذج التوافق بشكل أفضل مع التوقعات البشرية.
Link to this sectionربط نماذج LLMs بالرؤية الحاسوبية#
في أنظمة الذكاء الاصطناعي متعدد الوسائط، يمكن ربط توليد النصوص باستخدام بيانات مرئية. إذا طُلب من نموذج LLM وصف مشهد ما، فقد يهذي بأشياء غير موجودة. من خلال دمج كاشف كائنات عالي الدقة مثل YOLO26، يمكن للمطورين توفير قائمة واقعية بالكائنات الموجودة لنموذج LLM، مما يقيد مخرجاته بصرامة على الكشوفات التي تم التحقق منها.
يوضح مثال Python التالي كيفية استخدام حزمة ultralytics لاستخراج قائمة مؤكدة من الكائنات، والتي يمكن أن تكون بمثابة قيد واقعي لأمر نموذج لغوي.
from ultralytics import YOLO
# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")
# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")
# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]
# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']Link to this sectionالتمييز بين المفاهيم ذات الصلة#
من المهم التمييز بين الهلوسة وأخطاء الذكاء الاصطناعي الشائعة الأخرى:
- مقابل التحيز في الذكاء الاصطناعي: يشير التحيز إلى تحيز منهجي في المخرجات (على سبيل المثال، تفضيل ديموغرافية على أخرى)، في حين أن الهلوسة هي فشل في الدقة الواقعية. يمكن أن تكون الاستجابة غير متحيزة ومع ذلك فهي مهلوسة (على سبيل المثال، "القمر مصنوع من الجبن").
- مقابل الفرط في التخصيص: يحدث الفرط في التخصيص عندما يحفظ النموذج بيانات التدريب بشكل وثيق للغاية ولا يمكنه التعميم على مدخلات جديدة. غالباً ما تحدث الهلوسة عندما يحاول النموذج التعميم أكثر من اللازم في المجالات التي تفتقر فيها إلى البيانات.
- مقابل سوء التصنيف: في اكتشاف الكائنات، يعد تصنيف سيارة على أنها شاحنة خطأ في التصنيف (مشكلة دقة)، وليس هلوسة. الهلوسة خاصة بالإنشاء التوليدي لمحتوى خاطئ.
بالنسبة لأولئك الذين يتطلعون إلى إدارة مجموعات البيانات وتدريب النماذج بسلامة بيانات عالية لمنع الأخطاء اللاحقة، تقدم منصة Ultralytics أدوات شاملة للتعليق التوضيحي وإدارة مجموعات البيانات. علاوة على ذلك، توفر التوجيهات من إطار عمل إدارة مخاطر الذكاء الاصطناعي NIST معايير لتقييم وتخفيف هذه المخاطر في بيئات الإنتاج.
