BERT (Bidirectional Encoder Representations from Transformers)

BERT (تمثيلات المشفّر ثنائي الاتجاه من المحوّلات) هو مُشفّر محوّل يقرأ الجملة كاملة دفعة واحدة، ويبني تمثيل كل كلمة استنادًا إلى الكلمات الواقعة على جانبيها. قدمه Jacob Devlin وMing-Wei Chang وKenton Lee وKristina Toutanova من Google AI Language في أكتوبر 2018 ضمن BERT: التدريب المسبق للمحوّلات العميقة ثنائية الاتجاه لفهم اللغة، الذي فاز بجائزة أفضل ورقة طويلة في NAACL 2019. حقق نموذج BERT واحد مدرّب مسبقًا، وضُبط بدقة بإضافة طبقة إخراج واحدة، نتائج جديدة متقدمة في أحد عشر مهمة من مهام معالجة اللغة الطبيعية (NLP)، إذ رفع نتيجة معيار GLUE إلى 80.5%، بتحسن مطلق قدره 7.7 نقاط، ورفع أداء الإجابة عن الأسئلة في SQuAD v1.1 إلى درجة F1 للاختبار بلغت 93.2.

كيفية التدريب المسبق لـ BERT#

يتألف BERT-Base من 12 طبقة مُشفّر، وحالات مخفية ذات 768 بُعدًا، و12 رأس انتباه، ونحو 110 ملايين معلمة؛ أما BERT-Large فيضم 24 طبقة و1,024 بُعدًا و16 رأسًا و340 مليون معلمة. يُقسّم نص الإدخال باستخدام ترميز WordPiece إلى مفردات تضم 30,000 رمز، ويفتتح الرمز الخاص [CLS] كل تسلسل، بينما يفصل الرمز [SEP] بين جزأي زوج الجمل. درّبت Google مسبقًا كلا الحجمين على BooksCorpus (800 مليون كلمة) وويكيبيديا الإنجليزية (2,500 مليون كلمة) باستخدام هدفين من التعلم الذاتي الإشراف.

يختار نمذجة اللغة المقنّعة (MLM) نسبة 15% من مواضع الرموز، ويستبدل 80% منها بالرمز [MASK]، و10% برمز عشوائي، ويترك 10% دون تغيير، ثم يتنبأ النموذج بالرموز الأصلية. لا يستخدم الانتباه الذاتي في BERT قناعًا سببيًا، لذا يستند كل تنبؤ إلى السياق من الجانبين، وهو ما لا يستطيع النموذج اللغوي الذي يقرأ من اليسار إلى اليمين فعله. أما التنبؤ بالجملة التالية (NSP)، فيقرن كل جزء بخلفه الحقيقي نصف الوقت وبجملة عشوائية في النصف الآخر، ويتعلم مصنّف على خرج [CLS] التمييز بين الحالتين.

تحتفظ نقطة التحقق المدرّبة مسبقًا برأس الكلمات المقنّعة، لذا يمكن للنموذج الأصلي ملء فراغ مباشرةً:

from transformers import pipeline

# ⁨يتنبأ BERT بكلمة مقنّعة استنادًا إلى الكلمات الواقعة على جانبيها⁩
fill = pipeline("fill-mask", model="bert-base-uncased")

for text in ["She went to the [MASK] to buy bread.", "She went to the [MASK] to see a doctor."]:
    predictions = fill(text, top_k=3)
    print(text, [(p["token_str"], round(p["score"], 2)) for p in predictions])

لا يختلف الجملتان إلا بعد الفراغ، ويتغير أفضل تنبؤ لدى BERT من "market" (0.82) إلى "hospital" (0.78). أما النموذج الذي يقرأ من اليسار إلى اليمين فيرى "She went to the" في الجملتين ولا يجد ما يميّز بينهما.

الضبط الدقيق والتطبيقات#

يضيف الضبط الدقيق طبقة صغيرة خاصة بالمهمة ويدرّب جميع الأوزان على أمثلة موسومة، وهو نهج جعل التعلم بالنقل الخيار الافتراضي في معالجة اللغة الطبيعية. يمرر متجه [CLS] إلى مصنّفات على مستوى الجملة، مثل تحليل المشاعر، بينما يُمرر كل متجه رمز إلى مهام الوسم، مثل التعرف على الكيانات المسماة (NER)، وتستخرج درجات البداية والنهاية المحسوبة على الرموز مقاطع الإجابة.

بدأت Google استخدام BERT في واحدة من كل عشر عمليات بحث باللغة الإنجليزية في الولايات المتحدة (US) في أكتوبر 2019، مستشهدةً بالاستعلام "2019 brazil traveler to usa need a visa," حيث أدرك BERT أن كلمة "to" تصف برازيليًا يسافر إلى الولايات المتحدة (US). وبحلول أكتوبر 2020، كان يعمل على كل استعلام باللغة الإنجليزية تقريبًا. وتنتج المُرمِّزات التابعة لعائلة BERT أيضًا التضمينات التي يقوم عليها البحث الدلالي: يضبط Sentence-BERT نموذج BERT ضبطًا دقيقًا لتمثيل كل جملة بمتجه واحد من أجل البحث المتجهي، ويحتفظ ColBERT بمتجه واحد لكل رمز، وتُسنِد نماذج إعادة الترتيب القائمة على المُرمِّز المتقاطع درجاتٍ إلى أزواج الاستعلام والمقطع ضمن مسارات التوليد المعزز بالاسترجاع (RAG).

في كشف الرؤية واللغة، يرمّز Grounding DINO الموجّهات النصية باستخدام مُرمّز BERT-base قبل مطابقتها بمناطق الصورة. تستضيف Ultralytics Platform نموذج Grounding DINO من أجل التعليق الذكي الموجّه بالفئات، حيث يحوّل أسماء الفئات في مجموعة البيانات إلى مربعات قابلة للتحرير لتدريب كاشف YOLO26. وانتقل التنبؤ المقنّع إلى الصور أيضًا: استعان Transformer المرئي (ViT) برمز BERT المسمى [CLS] للتصنيف، وتدرّب المشفّرات التلقائية المقنّعة (MAE) مُرمّزات الصور مسبقًا عبر إخفاء 75% من رقع الصورة وإعادة بنائها.

BERT مقابل GPT والمُشفّرات اللاحقة#

تُبنى نماذج GPT باستخدام مُفكّك المحوّل مع قناع سببي، لذا تتنبأ بكل رمز تالٍ استنادًا إلى الرموز التي سبقته، ما يجعلها مناسبة لـتوليد النصوص. ينتج BERT متجهًا لكل رمز إدخال، وهو ما يناسب التصنيف والاستخراج والاسترجاع، ولا يملك طريقة مضمنة لكتابة النص من اليسار إلى اليمين. ويمكن لـنموذج لغوي كبير (LLM) يحوي مليارات المعلمات تنفيذ كثير من مهام الفهم نفسها باستخدام الموجّهات، لكن بتكلفة لكل استعلام تفوق تكلفة مُشفّر يضم 110 ملايين معلمة مرات عديدة.

حسّنت المُشفّرات اللاحقة هذه الوصفة. ألغى RoBERTa من Meta مهمة NSP، وتدرّب مدة أطول باستخدام دفعات أكبر على نحو 160 GB من النصوص، ما أظهر أن BERT لم يكن قد خضع لتدريب كافٍ إلى حد كبير؛ واستخدم DistilBERT من Hugging Face تقطير المعرفة لخفض عدد المعلمات بنسبة 40% والعمل بسرعة أكبر بنسبة 60% مع الحفاظ على 97% من أداء BERT في فهم اللغة. أما ModernBERT، الذي أصدرته Answer.AI وLightOn في ديسمبر 2024، فتدرّب على تريليوني رمز، مع طول سياق أصلي يبلغ 8,192 رمزًا، أي 16 ضعف حد BERT البالغ 512 رمزًا.