الضبط الفوري
حسِّن النماذج اللغوية الكبيرة بكفاءة باستخدام الضبط الفوري - قلل التكاليف، ووفر الموارد، وحقق القدرة على التكيف الخاص بالمهام دون عناء.
يُعد الضبط الموجه أسلوبًا قويًا وفعالًا لتكييف النماذج الكبيرة المدربة مسبقًا، مثل نماذج اللغات الكبيرة (LLMs)، مع المهام الجديدة دون تغيير أوزان النموذج الأصلي. إنه شكل من أشكال الضبط الدقيق الفعال للمعلمات (PEFT) الذي يحافظ على تجميد مليارات المعلمات في النموذج الأساسي ويتعلم بدلاً من ذلك مجموعة صغيرة من "المطالبات اللينة" الخاصة بالمهام. هذه المطالبات اللينة ليست نصًا مقروءًا بشريًا ولكنها عبارة عن تضمينات قابلة للتعلم مضافة مسبقًا إلى المدخلات، والتي توجه النموذج المجمد لإنتاج المخرجات المطلوبة لمهمة محددة في المرحلة النهائية. يقلل هذا النهج بشكل كبير من التكلفة الحسابية والتخزين اللازمين للتكيف الخاص بمهمة محددة، كما هو موثق في ورقة بحث Google AI البحثية الأصلية.
تتمثل الفكرة الأساسية في تدريب بضعة آلاف أو ملايين من المعلمات الإضافية فقط (الموجه الناعم) لكل مهمة، بدلاً من إعادة تدريب أو ضبط النموذج بأكمله، والذي قد يحتوي على مليارات المعلمات. هذا يجعل من الممكن إنشاء العديد من "وحدات المطالبة" المتخصصة لنموذج واحد مدرب مسبقًا، كل منها مصمم خصيصًا لمهمة مختلفة، دون إنشاء نسخ نموذجية كاملة. تساعد هذه الطريقة أيضًا في التخفيف من النسيان الكارثي، حيث ينسى النموذج المعلومات المكتسبة سابقًا عند تدريبه على مهمة جديدة.
التطبيقات الواقعية
يتيح الضبط الفوري إمكانية تخصيص نماذج أساس قوية لمجموعة واسعة من التطبيقات المتخصصة.
- تحليل المشاعر المخصص: تريد شركة ما تحليل ملاحظات العملاء لمنتجاتها الخاصة. قد لا يفهم نموذج تحليل المشاعر للأغراض العامة المصطلحات الخاصة بالصناعة. باستخدام الضبط السريع، يمكن للشركة تكييف نموذج كبير مثل BERT من خلال تدريب مجموعة صغيرة من المطالبات الناعمة على مراجعات العملاء المصنفة الخاصة بها. يمكن للنموذج الناتج تصنيف التعليقات بدقة دون الحاجة إلى تدريب كامل للنموذج، مما يوفر رؤى أكثر دقة.
- روبوتات الدردشة الطبية المتخصصة: تهدف إحدى مؤسسات الرعاية الصحية إلى بناء روبوت دردشة آ لي يجيب على أسئلة المرضى حول حالات طبية محددة. إن التدريب الكامل لروبوتات الدردشة الآلية الطبية الكبيرة يستهلك الكثير من الموارد. بدلاً من ذلك، يمكنهم استخدام الضبط الفوري على نموذج مدرب مسبقاً مثل GPT-4. من خلال تدريب موجه خاص بمهمة محددة على مجموعة بيانات طبية منسقة، يتعلم روبوت الدردشة الآلي تقديم إجابات دقيقة وملائمة للسياق في هذا المجال، مما يجعل الذكاء الاصطناعي القوي في مجال الرعاية الصحية أكثر سهولة.
الضبط الفوري مقابل المفاهيم ذات الصلة
من المهم التمييز بين الضبط الفوري والتقنيات المماثلة:
- الضبط الدقيق: تقوم هذه الطريقة بتحديث جزء كبير، أو حتى كل، معلمات النموذج المدرّب مسبقًا على مجموعة بيانات جديدة. وهي طريقة أكثر كثافة من الناحية الحسابية ولكنها قد تحقق أحيانًا أداءً أعلى من خلال تكييف التمثيلات الداخلية للنموذج بعمق. غالبًا ما تغطي نصائح تدريب النموذج جوانب الضبط الدقيق.
- هندسة موجه: يركز هذا على تصميم مطالبات نصية فعالة يدويًا (مطالبات صلبة) لتوجيه نموذج مجمّد مُدرّب مسبقًا. وهو يتضمن صياغة التعليمات والأمثلة ضمن نص الإدخال نفسه ولا يتضمن تدريب أي معلمات جديدة. تندرج تقنيات مثل المطالبة المتسلسلة الأفكار تحت هذه الفئة.
- الإثراء الفوري: تعمل هذه التقنية تلقائيًا على تحسين موجه المستخدم عن طريق إضافة السياق، على سبيل المثال، باستخدام التوليد المعزز للاسترجاع (RAG)، قبل إرساله إلى نموذج الذكاء الاصطناعي. على عكس ضبط المطالبة، فهي تعمل على تحسين استعلام الإدخال دون تدريب معلمات جديدة.
- LoRA (تكيف منخفض الرتبة): تقنية أخرى من تقنيات التكييف منخفض الرتبة (PEFT) تقوم بحقن مصفوفات صغيرة منخفضة الرتبة قابلة للتدريب في الطبقات الحالية (مثل آلية الانتباه) للنموذج المدرّب مسبقًا. وهي تقوم بتحديث أجزاء مختلفة من النموذج مقارنةً بالضبط الموجه الذي يركز فقط على تضمينات المدخلات. غالبًا ما يوجد كلاهما في مكتبات مثل مكتبة عناق الوجه PEFT.
في حين يتم تطبيق الضبط الفوري في الغالب على النماذج ذات النماذج ذات النماذج ذات النماذج المتعددة الوسائط في معالجة اللغات الطبيعية (NLP)، فإن المبدأ الأساسي للتكيف الفعال ذو صلة عبر الذكاء الاصطناعي (AI). في مجال الرؤية الحاسوبية، في حين أن الضبط الدقيق الكامل للنماذج مثل Ultralytics YOLO على مجموعات البيانات المخصصة أمر شائع لمهام مثل اكتشاف الأشياء، فإن أساليب الضبط الفوري تكتسب قوة دفع، خاصةً للنماذج الكبيرة متعددة الوسائط. تعمل المنصات مثل Ultralytics HUB على تبسيط عملية تدريب نماذج الذكاء الاصطناعي المختلفة ونشرها، ومن المحتمل أن تتضمن هذه التقنيات الفعالة في المستقبل.