BERT (Bidirectional Encoder Representations from Transformers)

BERT (التمثيلات ثنائية الاتجاه من المُحوِّلات) هي بنية رائدة للتعلّم العميق صمّمها باحثون في Google لمساعدة الآلات على فهم دقائق اللغة البشرية بشكل أفضل. وقد قُدّمت في عام 2018، وأحدثت BERT ثورة في مجال معالجة اللغة الطبيعية (NLP) من خلال تقديم أسلوب تدريب ثنائي الاتجاه. وعلى خلاف النماذج السابقة التي كانت تقرأ النص بالتتابع من اليسار إلى اليمين أو من اليمين إلى اليسار، تحلّل BERT سياق الكلمة من خلال النظر في الكلمات التي تسبقها وتليها في الوقت نفسه. ويتيح هذا النهج للنموذج استيعاب المعاني الدقيقة والتعابير الاصطلاحية والكلمات المتجانسة (الكلمات ذات المعاني المتعددة) بفاعلية أكبر بكثير من أسلافه.

كيف تعمل BERT#

تعتمد BERT في جوهرها على بنية Transformer، وبالتحديد على آلية المُرمِّز. وتتحقق الطبيعة «ثنائية الاتجاه» من خلال تقنية تدريب تُسمّى نمذجة اللغة المقنّعة (MLM). أثناء التدريب المسبق، تُحجب (تُخفى) عشوائيًا نحو 15% من الكلمات في الجملة، ويحاول النموذج التنبؤ بالكلمات المفقودة استنادًا إلى السياق المحيط. ويجبر ذلك النموذج على تعلّم تمثيلات عميقة ثنائية الاتجاه.

بالإضافة إلى ذلك، تستخدم BERT التنبؤ بالجملة التالية (NSP) لفهم العلاقة بين الجمل. في هذه المهمة، تُعطى للنموذج أزواج من الجمل، وعليه تحديد ما إذا كانت الجملة الثانية تتبع الأولى منطقيًا. وتُعد هذه القدرة بالغة الأهمية للمهام التي تتطلب فهم الخطاب، مثل الإجابة عن الأسئلة وتلخيص النصوص.

التطبيقات الواقعية#

جعل تعدد استخدامات BERT منها مكوّنًا قياسيًا في العديد من أنظمة AI الحديثة. وفيما يلي مثالان ملموسان على تطبيقاتها:

1. تحسين محركات البحث: دمجت Google نموذج BERT في خوارزميات البحث لديها لتفسير الاستعلامات المعقدة بشكل أفضل. فعلى سبيل المثال، تُعد كلمة "to" مهمة في الاستعلام "2019 brazil traveler to usa need a visa". وكانت النماذج التقليدية تتعامل غالبًا مع كلمة "to" باعتبارها كلمة شائعة مستبعدة (كلمات شائعة تُرشَّح خارجًا)، فتغفل العلاقة الاتجاهية. وتفهم BERT أن المستخدم برازيلي يسافر إلى USA، وليس في الاتجاه المعاكس، فتقدّم نتائج بحث شديدة الصلة.

2. تحليل المشاعر في ملاحظات العملاء: تستخدم الشركات BERT لتحليل آلاف مراجعات العملاء أو تذاكر الدعم تلقائيًا. وبفضل فهم BERT للسياق، يمكنها التمييز بين "This vacuum sucks" (مشاعر سلبية) و"This vacuum sucks up all the dirt" (مشاعر إيجابية). ويساعد هذا التحليل الدقيق للمشاعر الشركات على فرز مشكلات الدعم ومتابعة صحة العلامة التجارية بدقة.

المقارنة مع المفاهيم ذات الصلة#

من المفيد التمييز بين BERT وغيرها من البنى البارزة لفهم مجالها المتخصص.

• BERT مقابل GPT (المحوِّل التوليدي المدرَّب مسبقًا): رغم أن كليهما يستخدم بنية Transformer، فإن أهدافهما مختلفة. تستخدم BERT مكدس المُرمِّز، وهي محسّنة لمهام الفهم والتمييز (مثل التصنيف واستخراج الكيانات). في المقابل، تستخدم GPT مكدس فكّ التشفير، وهي مصممة من أجل توليد النصوص، إذ تتنبأ بالكلمة التالية في التسلسل لكتابة المقالات أو التعليمات البرمجية.
• BERT مقابل YOLO26: تعمل هاتان البنيتان في مجالين مختلفين. تعالج BERT بيانات نصية متسلسلة للمهام اللغوية. أما YOLO26 فهي نموذج رؤية متطور يعالج شبكات البكسلات من أجل اكتشاف الأجسام في الوقت الفعلي. ومع ذلك، غالبًا ما تجمع الأنظمة الحديثة متعددة الوسائط بينهما؛ فعلى سبيل المثال، قد يكتشف نموذج YOLO الأجسام في صورة، ثم يجيب نموذج يستند إلى BERT عن أسئلة تتعلق بعلاقاتها.

مثال على التنفيذ: تجزئة الرموز#

لاستخدام BERT، يجب تحويل النص الخام إلى رموز رقمية. ويستخدم النموذج مفردات محددة (مثل WordPiece) لتقسيم الكلمات. وعلى الرغم من أن BERT نموذج نصي، فإن مفاهيم المعالجة المسبقة المماثلة تنطبق على رؤية الحاسوب، حيث تُقسَّم الصور إلى رقع.

يوضح مقطع Python التالي كيفية استخدام مكتبة transformers لتجزئة جملة إلى رموز من أجل معالجتها باستخدام BERT. لاحظ أنه على الرغم من تركيز Ultralytics على الرؤية، فإن فهم تجزئة الرموز يُعد أساسيًا لسير عمل الذكاء الاصطناعي متعدد الوسائط.

from transformers import BertTokenizer

# Initialize the tokenizer with the pre-trained 'bert-base-uncased' vocabulary
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# Tokenize a sample sentence relevant to AI
text = "Ultralytics simplifies computer vision."

# Convert text to input IDs (numerical representations)
encoded_input = tokenizer(text, return_tensors="pt")

# Display the resulting token IDs
print(f"Token IDs: {encoded_input['input_ids']}")

الأهمية في مشهد AI#

مثّل تقديم BERT «لحظة ImageNet» في مجال NLP، إذ أثبت أن التعلّم بالنقل—أي التدريب المسبق لنموذج على مجموعة بيانات ضخمة ثم ضبطه بدقة لمهمة محددة—فعّال للغاية مع النصوص. وقد قلّل ذلك الحاجة إلى بُنى مخصصة لكل مهمة وإلى مجموعات بيانات كبيرة موسومة لكل مشكلة جديدة.

واليوم، تواصل إصدارات BERT، مثل RoBERTa وDistilBERT، تعزيز الكفاءة في تطبيقات AI الطرفي. وغالبًا ما يدمج المطورون الذين يتطلعون إلى بناء حلول AI شاملة هذه النماذج اللغوية مع أدوات الرؤية المتاحة على منصة Ultralytics لإنشاء أنظمة يمكنها رؤية العالم وفهمه معًا.