BERT (Bidirectional Encoder Representations from Transformers)

يُعد BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات) بنية تعليم عميق رائدة صممها باحثون في Google لمساعدة الآلات على فهم دقة اللغة البشرية بشكل أفضل. أحدث BERT، الذي تم تقديمه في عام 2018، ثورة في مجال معالجة اللغات الطبيعية (NLP) من خلال تقديم طريقة تدريب ثنائية الاتجاه. على عكس النماذج السابقة التي تقرأ النص بشكل تسلسلي من اليسار إلى اليمين أو من اليمين إلى اليسار، يقوم BERT بتحليل سياق الكلمة من خلال النظر إلى الكلمات التي تأتي قبلها وبعدها في نفس الوقت. يسمح هذا النهج للنموذج بفهم المعاني الدقيقة والتعابير الاصطلاحية والمتجانسات (الكلمات ذات المعاني المتعددة) بشكل أكثر فاعلية بكثير من سابقاته.

Link to this sectionكيف يعمل BERT#

في جوهره، يعتمد BERT على بنية Transformer، وتحديداً آلية التشفير. تتحقق الطبيعة "ثنائية الاتجاه" من خلال تقنية تدريب تسمى نمذجة اللغة المقنعة (MLM). أثناء التدريب المسبق، يتم إخفاء (حجب) حوالي 15% من الكلمات في الجملة عشوائياً، ويحاول النموذج التنبؤ بالكلمات المفقودة بناءً على السياق المحيط. هذا يجبر النموذج على تعلم تمثيلات ثنائية الاتجاه عميقة.

بالإضافة إلى ذلك، يستخدم BERT التنبؤ بالجملة التالية (NSP) لفهم العلاقة بين الجمل. في هذه المهمة، يتم تزويد النموذج بأزواج من الجمل ويجب عليه تحديد ما إذا كانت الجملة الثانية تتبع الجملة الأولى منطقياً. هذه القدرة حاسمة للمهام التي تتطلب فهماً للخطاب، مثل الإجابة على الأسئلة وتلخيص النصوص.

Link to this sectionتطبيقات العالم الحقيقي#

جعل تنوع BERT منه مكوناً قياسياً في العديد من أنظمة الذكاء الاصطناعي الحديثة. فيما يلي مثالان ملموسان على تطبيقه:

1. تحسين محركات البحث: قامت Google بدمج BERT في خوارزميات البحث الخاصة بها لتفسير الاستعلامات المعقدة بشكل أفضل. على سبيل المثال، في الاستعلام "2019 brazil traveler to usa need a visa"، تعد كلمة "to" حاسمة. غالباً ما تعامل النماذج التقليدية "to" ككلمة توقف (كلمات شائعة يتم تصفيتها)، مما يفقد العلاقة الاتجاهية. يفهم BERT أن المستخدم برازيلي يسافر إلى الولايات المتحدة، وليس العكس، مما يوفر نتائج بحث ذات صلة عالية.

2. تحليل المشاعر في ملاحظات العملاء: تستخدم الشركات BERT لتحليل آلاف مراجعات العملاء أو تذاكر الدعم تلقائياً. نظراً لأن BERT يفهم السياق، يمكنه التمييز بين "This vacuum sucks" (مشاعر سلبية) و "This vacuum sucks up all the dirt" (مشاعر إيجابية). يساعد تحليل المشاعر الدقيق هذا الشركات في تصنيف مشكلات الدعم وتتبع صحة العلامة التجارية بدقة.

Link to this sectionمقارنة بالمفاهيم ذات الصلة#

من المفيد تمييز BERT عن البنيات البارزة الأخرى لفهم مكانته المحددة.

• BERT مقابل GPT (المحول التوليدي المدرب مسبقاً): بينما يستخدم كلاهما بنية Transformer، تختلف أهدافهما. يستخدم BERT كومة Encoder وهو مُحسَّن لمهام الفهم والتمييز (مثل التصنيف، استخراج الكيانات). في المقابل، يستخدم GPT كومة Decoder وهو مصمم لـ توليد النصوص، ويتنبأ بالكلمة التالية في تسلسل لكتابة المقالات أو الكود.
• BERT مقابل YOLO26: تعمل هذه النماذج في مجالات مختلفة. يعالج BERT بيانات النصوص التسلسلية للمهام اللغوية. YOLO26 هو نموذج رؤية متطور يعالج شبكات البكسل من أجل اكتشاف الكائنات في الوقت الفعلي. ومع ذلك، غالباً ما تجمع الأنظمة متعددة الوسائط الحديثة بينهما؛ على سبيل المثال، قد يكتشف نموذج YOLO كائنات في صورة، ويمكن لنموذج قائم على BERT بعد ذلك الإجابة على أسئلة حول علاقاتها.

Link to this sectionمثال على التنفيذ: التجزئة (Tokenization)#

لاستخدام BERT، يجب تحويل النص الخام إلى رموز رقمية. يستخدم النموذج مفردات محددة (مثل WordPiece) لتقسيم الكلمات. بينما يعد BERT نموذجاً نصياً، تنطبق مفاهيم معالجة مماثلة في رؤية الكمبيوتر حيث يتم تقسيم الصور إلى رقع (patches).

يوضح مقتطف Python التالي كيفية استخدام مكتبة transformers لتجزئة جملة لمعالجة BERT. لاحظ أنه بينما تركز Ultralytics على الرؤية، فإن فهم التجزئة هو مفتاح لسير عمل الذكاء الاصطناعي متعدد الوسائط.

from transformers import BertTokenizer

# Initialize the tokenizer with the pre-trained 'bert-base-uncased' vocabulary
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# Tokenize a sample sentence relevant to AI
text = "Ultralytics simplifies computer vision."

# Convert text to input IDs (numerical representations)
encoded_input = tokenizer(text, return_tensors="pt")

# Display the resulting token IDs
print(f"Token IDs: {encoded_input['input_ids']}")

Link to this sectionالأهمية في مشهد الذكاء الاصطناعي#

شكل إدخال BERT "لحظة ImageNet" لـ NLP، مما يثبت أن التعلم بنقل المعرفة—تدريب نموذج مسبقاً على مجموعة بيانات ضخمة ثم ضبطه بدقة لمهمة محددة—كان فعالاً للغاية للنصوص. قلل هذا من الحاجة إلى بنيات خاصة بكل مهمة ومجموعات بيانات كبيرة مصنفة لكل مشكلة جديدة.

اليوم، تستمر متغيرات BERT، مثل RoBERTa و DistilBERT، في تعزيز الكفاءة في تطبيقات الذكاء الاصطناعي على الحافة (Edge AI). غالباً ما يقوم المطورون الذين يتطلعون إلى بناء حلول ذكاء اصطناعي شاملة بدمج هذه النماذج اللغوية جنباً إلى جنب مع أدوات الرؤية المتاحة على منصة Ultralytics لإنشاء أنظمة يمكنها رؤية وفهم العالم.