GPT (Generative Pre-trained Transformer)

GPT (المحوّل التوليدي المدرّب مسبقًا) هو نموذج لغوي قائم على المحوّل لا يستخدم إلا وحدة فك الترميز، ويُدرّب مسبقًا أولًا على كميات كبيرة من النصوص غير الموسومة للتنبؤ بـالرمز التالي، ثم يُكيّف مع المهام. وقدّمت OpenAI هذا النهج في يونيو 2018 في ورقة Alec Radford وزملائه تحسين فهم اللغة بالتدريب التوليدي المسبق، ويعبّر الاسم عن مكونات المنهج: نموذج توليدي للنص، مدرّب مسبقًا قبل أي تدريب خاص بمهمة، ومبني على المحوّل. وتوسعت سلسلة GPT من 117 مليون معلمة في GPT-1 إلى 175 مليارًا في GPT-3، وجعل إطلاق ChatGPT في 30 نوفمبر 2022 هذه السلسلة أشهر عائلات النماذج اللغوية الكبيرة (LLMs). ويُستخدم وصف «على نمط GPT» أيضًا لأي نموذج LLM لا يستخدم إلا وحدة فك الترميز ويُدرّب بالطريقة نفسها، بما في ذلك نماذج Llama من Meta وQwen من Alibaba.

آلية عمل نموذج GPT#

يُقسّم النص أولًا إلى رموز؛ وقدّم GPT-2 أسلوب تقسيم النص إلى رموز على مستوى البايت بمفردات من 50,257 رمزًا، واحتفظ GPT-3 بهذا الحجم. ويصبح كل رمز تضمينًا مضافًا إليه إشارة موضعية، ثم تصقل هذه المتجهات مجموعة من كتل فك الترميز المتطابقة. وفي كل كتلة، يتيح الانتباه الذاتي المقنّع لكل موضع قراءة نفسه والمواضع التي تسبقه فقط، ثم تحوّل طبقة التغذية الأمامية كل موضع على حدة:

بفضل القناع السببي، تنتج تمريرة أمامية واحدة على تسلسل تدريب من 1,024 رمزًا 1,024 تنبؤًا بالرمز التالي دفعة واحدة، ما يجعل التدريب المسبق متوازيًا رغم أن التوليد تسلسلي. وأثناء الاستدلال، يقيّم النموذج الرمز التالي ويضيفه ثم يكرر العملية، مع إعادة استخدام العمليات الحسابية السابقة عبر ذاكرة التخزين المؤقت KV. ويوضح GPT-2 من OpenAI، الذي يضم 124 مليون معلمة، الخطوة الأولى:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

يمنح GPT-2 الرمز " the" احتمالًا قدره 0.085، والرمز " Paris" احتمالًا قدره 0.032 فقط، وتنتج عملية فك الترميز الجشع العبارة "The capital of France is the capital of the French Republic, and". ويواصل GPT المدرّب مسبقًا النص بالطريقة التي تتبعها بيانات تدريبه، ثم يحوّله الضبط بالتعليمات يليه التعلّم المعزز من الملاحظات البشرية (RLHF) إلى مساعد يجيب عن الأسئلة.

من GPT-1 إلى GPT-6#

درّب GPT-1 مسبقًا مفكّك ترميز من 12 طبقة على أكثر من 7,000 كتاب غير منشور، ثم أجرى له ضبطًا دقيقًا لكل مهمة، محققًا أداءً متقدمًا على أحدث التقنيات في 9 من أصل 12 مهمة دُرست. وارتفع حجم GPT-2، الذي أُعلن عنه في فبراير 2019، إلى 1.5 مليار معلمة دُرّبت على 40 GB من نصوص الويب، ونفّذ المهام دون أمثلة؛ وأصدرت OpenAI أوزانه على مراحل حتى نوفمبر 2019 بسبب مخاوف إساءة الاستخدام. وأظهر GPT-3 في مايو 2020 التعلّم من أمثلة قليلة موضوعة في الموجّه، وهي نتيجة توقعتها قوانين التوسّع.

أضاف InstructGPT ثم ChatGPT التدريب باستخدام ملاحظات البشر، وقبل GPT-4 الصور مدخلاتٍ في مارس 2023. وتعلّمت نماذج الاستدلال من سلسلة o لدى OpenAI، بدءًا من o1 في سبتمبر 2024، كتابة سلسلة تفكير طويلة قبل الإجابة، ووضع GPT-5، الذي أُطلق في 7 أغسطس 2025، نموذجًا سريعًا ونموذج استدلال خلف موجّه. وقبل ذلك بيومين، أطلقت OpenAI نموذجي gpt-oss-120b وgpt-oss-20b بموجب ترخيص Apache 2.0، وهما أول نموذجي لغة مفتوحي الأوزان لها منذ GPT-2. ووصلت عائلة GPT-6 في سبتمبر 2026: GPT-6 Astra في 3 سبتمبر، وGPT-6 Sol وGPT-6 Luna في 22 سبتمبر، وGPT-6.1 Sol في 29 سبتمبر.

GPT في الرؤية الحاسوبية#

تنطبق وصفة الرمز التالي نفسها على الصور. درّب Image GPT من OpenAI نماذج بحجم GPT-2 على التنبؤ بالبكسلات واحدًا تلو الآخر في عام 2020، ويتنبأ النمذجة التلقائية الانحدار البصري (VAR) بالصور مقياسًا تلو الآخر، كما يربط كثير من نماذج الرؤية واللغة (VLMs) مُرمِّز صور بمفكِّك شبيه بـGPT يكتب الإجابة. وتستعير مُرمِّزات النص التصميم نفسه أيضًا: إذ يرمّز CLIP من OpenAI النص باستخدام محوّلة من 12 طبقة تضم 63 مليون معلمة، وتستخدم بنية GPT-2 والانتباه الذاتي المقنّع. ويستدعي YOLO-World من Tencent AI Lab، المتاح ضمن حزمة Ultralytics، مُرمِّز CLIP النصي عند استدعاء set_classes(["person", "bus"])، فيحوّل كل اسم فئة إلى تضمين يطابقه الكاشف مع مناطق الصور، ما يتيح تغيير قائمة الفئات دون إعادة التدريب. وتقرأ نماذج GPT الخاصة بـOpenAI الصور أيضًا، وتقيس لوحة صدارة VLM مدى دقة GPT-6.1 Sol ونماذج الرؤية واللغة الأخرى في كشف الأجسام ضمن مجموعات بيانات واقعية.

GPT ومصطلحات ذات صلة#

يستخدم BERT مُرمّز المحوّل دون قناع سببي، لذا يرى كل رمز المدخل بأكمله؛ وهو مناسب للتصنيف والاسترجاع ولا يولّد النص. أما LLM فهو أي نموذج لغوي كبير، ويشير GPT إلى سلسلة نماذج OpenAI وإلى بنية التصميم التي لا تستخدم إلا مفكّك الترميز، والتي تشترك فيها معظم نماذج LLM. وروبوت المحادثة مثل ChatGPT تطبيق مبني على نماذج GPT، ويحيط بالنموذج موجّه نظام وسجل محادثة وأدوات.