GPT-3

GPT-3 (المحوّل التوليدي المدرب مسبقًا 3) هو نموذج لغة كبير (LLM) يضم 175 مليار معلمة، وصفته OpenAI في مايو 2020 في الورقة البحثية نماذج اللغة متعلّمات قليلة الأمثلة. كان حجمه أكبر من سابقه GPT-2 بأكثر من 100 مرة، وكانت أبرز نتائجه التعلّم داخل السياق: إذ أمكن للنموذج المجمّد نفسه، عند تزويده بوصف لمهمة وبضعة أمثلة في الموجّه، أن يترجم ويجيب عن الأسئلة ويجري العمليات الحسابية دون أي ضبط دقيق. لم تُصدر OpenAI الأوزان قط، وقدّمت GPT-3 عبر API فقط، التي أُطلقت في يونيو 2020. وأصبحت النماذج المنحدرة من GPT-3 والمضبوطة بالتعليمات نماذج GPT-3.5 التي شكّلت الأساس لـChatGPT، ما جعل عائلة GPT اسمًا مألوفًا في أواخر عام 2022.

المعمارية والتدريب#

GPT-3 هو نموذج Transformer مقتصر على وحدة فك الترميز، ويتبع تصميم GPT-2 نفسه لكن على نطاق أكبر. يضم أكبر النماذج 96 طبقة، وعرضًا قدره 12,288، و96 رأسًا للانتباه، يبلغ بُعد كل منها 128، ونافذة سياق من 2,048 رمزًا، وتتبادل طبقاته بين الانتباه الكثيف والانتباه المتناثر ذي النطاق المحلي. ويعيد استخدام أسلوب GPT-2 في تجزئة النص إلى رموز على مستوى البايت وفق BPE، مع مفردات تضم 50,257 رمزًا. درّبت الورقة البحثية نماذج بثمانية أحجام مختلفة، تراوح عدد معلماتها بين 125 مليونًا و175 مليارًا، ودُرّب كل منها على 300 مليار رمز مأخوذ من مجموعة Common Crawl المنقّحة (60% من مزيج التدريب)، وWebText2 (22%)، ومجموعتين من الكتب (8% لكل منهما)، وويكيبيديا الإنجليزية (3%)، باستخدام GPUs من طراز V100 على عنقود وفّرته Microsoft. تفسّر هذه المعلمات الفائقة حجم النموذج وتكلفة تدريبه:

# GPT-3 175B: layers, width, and context from the paper's Table 2.1, plus GPT-2's vocabulary
n_layers, d_model, vocab_size, context = 96, 12288, 50257, 2048

# Each decoder block holds 4 * d^2 attention weights and 8 * d^2 feed-forward weights (4x hidden width)
blocks = n_layers * 12 * d_model**2
embeddings = (vocab_size + context) * d_model  # token and learned position embeddings
params = blocks + embeddings
print(f"Parameters: {params / 1e9:.1f} billion ({blocks / params:.1%} in the decoder blocks)")

# Training compute: about 6 FLOPs per parameter per token, over 300 billion training tokens
flops = 6 * params * 300e9
print(f"Training compute: {flops:.2e} FLOPs = {flops / (1e15 * 86400):,.0f} petaflop/s-days")

يطبع ذلك 174.6 مليار معلمة، 99.6% منها في كتل فك الترميز، و3.14e+23 FLOPs، أو 3,637 يومًا من بيتافلوب/ثانية، بما يطابق 174,600 مليون معلمة و3.14e+23 FLOPs الواردة في ملحق الورقة.

التعلّم بقليل من الأمثلة والتعلّم داخل السياق#

قيّمت الورقة ثلاثة إعدادات للموجّهات. يقدّم إعداد دون أمثلة تعليمة فقط، ويضيف إعداد المثال الواحد مثالًا محلولًا واحدًا، بينما يضيف إعداد الأمثلة القليلة أكبر عدد ممكن من الأمثلة ضمن نافذة السياق، وعادةً ما يتراوح بين 10 و100. تحسن الأداء مع زيادة حجم النموذج وعدد الأمثلة: ففي معيار TriviaQA الخاص بـالإجابة عن الأسئلة، حقق النموذج ذو 175 مليار معلمة 64.3% دون أمثلة، و68.0% بمثال واحد، و71.2% بأمثلة قليلة، متجاوزًا في الحالة الأخيرة الأنظمة المضبوطة بدقة في إعداد الإجابة دون الرجوع إلى المصادر. جعلت المطالبات بأمثلة قليلة هندسة الموجّهات طريقة قياسية لاستخدام نماذج LLM، وأيّدت النتائج وجهة نظر قوانين التوسع القائلة إن النماذج الأكبر تتعلم أكثر من السياق. وينطبق مفهوم استخدام الموجّه بدلًا من إعادة التدريب أيضًا على كشف الكائنات في YOLOE-26، حيث تستخدم الموجّهات المرئية صناديق مرسومة حول أمثلة في صورة مرجعية لتحديد فئة يعثر عليها النموذج بعد ذلك في صور جديدة دون تحديث أي وزن.

من GPT-3 إلى ChatGPT#

حصلت Microsoft في سبتمبر 2020 على ترخيص حصري للنموذج الأساسي لـGPT-3، وشغّل Codex من OpenAI، وهو نموذج منحدر من GPT-3 ضُبط بدقة على شيفرة عامة، الإصدار الأول من GitHub Copilot في 2021. واصل GPT-3 الأساسي توليد النصوص جيدًا، لكنه لم يُحسن اتباع التعليمات؛ لذلك طبّقت OpenAI الضبط بالتعليمات والتعلّم المعزز من الملاحظات البشرية (RLHF). فضّل المقيّمون مخرجات نموذج InstructGPT ذي 1.3 مليار معلمة على مخرجات GPT-3 ذي 175 مليار معلمة. وأفضى ذلك المسار إلى GPT-3.5 وChatGPT في نوفمبر 2022، ثم إلى GPT-4 متعدد الوسائط في مارس 2023. وأعادت OPT-175B من Meta وBLOOM من BigScience إنتاج نماذج بحجم GPT-3 بأوزان مفتوحة في عام 2022.

GPT-3 والنماذج ذات الصلة#

• GPT-2: النموذج السابق لعام 2019 ذو 1.5 مليار معلمة، بالبنية ومجزّئ الرموز نفسيهما، وبحجم يقارب واحدًا على مئة، وسياق من 1,024 رمزًا.
• GPT-4: الإصدار اللاحق لعام 2023، ويقبل الصور إلى جانب النصوص ويتبع التعليمات بموثوقية أكبر بكثير بعد التدريب اللاحق.
• BERT: نموذج Google لعام 2018، مقتصر على وحدة الترميز، ويقرأ النص في الاتجاهين ويناسب مهام التصنيف والاستخراج.

القيود#

يسرد بحث GPT-3 كثيرًا من نقاط ضعف النموذج بنفسه. فهو يكرر كلامه ويفقد الترابط في المقاطع الطويلة ويرتكب أخطاء أساسية في الفهم المنطقي للعالم المادي، وكغيره من نماذج LLM اللاحقة، يذكر معلومات خاطئة بثقة، وهي الظاهرة التي تُسمى الآن الهلوسات. وقاس المؤلفون التحيزات المرتبطة بالنوع الاجتماعي والعرق والدين في النصوص التي أنشأها، ووجدوا أن بعض مجموعات الاختبار المعيارية تسرّبت إلى بيانات تدريب الويب. كما صعُب تمييز توليد النصوص لديه عن الكتابة البشرية: فلم يتمكن المقيّمون من تحديد المقالات الإخبارية ذات 200 كلمة التي كتبها النموذج ذو 175 مليار معلمة إلا في 52% من الحالات. وأوقفت OpenAI نماذج API الأصلية ada وbabbage وcurie وdavinci في 4 يناير 2024، واستبدلت بها babbage-002 وdavinci-002.