BERT (تمثيلات المشفر ثنائي الاتجاه من المحولات)

BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات) هي بنية تعلم عميق رائدة صممها باحثون في Google الآلات Google فهم الفروق الدقيقة في اللغة البشرية بشكل أفضل. تم طرح BERT في عام 2018، وأحدثت ثورة في مجال معالجة اللغة الطبيعية (NLP) من خلال إدخال طريقة تدريب ثنائية الاتجاه. على عكس النماذج السابقة التي تقرأ النص بالتسلسل من اليسار إلى اليمين أو من اليمين إلى اليسار، يحلل BERT سياق الكلمة من خلال النظر إلى الكلمات التي تسبقها وتليها في وقت واحد. تسمح هذه الطريقة للنموذج بفهم المعاني الدقيقة والتعابير والمتجانسات (الكلمات ذات المعاني المتعددة ) بشكل أكثر فعالية من النماذج السابقة.

كيفية عمل BERT

يعتمد BERT في جوهره على بنية Transformer، وتحديداً آلية التشفير . يتم تحقيق الطبيعة "ثنائية الاتجاه" من خلال تقنية تدريب تسمى Masked Language Modeling (MLM). أثناء التدريب المسبق، يتم إخفاء (إخفاء) حوالي 15٪ من الكلمات في الجملة بشكل عشوائي، ويحاول النموذج توقع الكلمات المفقودة بناءً على السياق المحيط. هذا يجبر النموذج على تعلم تمثيلات ثنائية الاتجاه عميقة.

بالإضافة إلى ذلك، يستخدم BERT تقنية توقع الجملة التالية (NSP) لفهم العلاقة بين الجمل. في هذه المهمة، يتم إعطاء النموذج أزواج من الجمل ويجب عليه تحديد ما إذا كانت الجملة الثانية تتبع الجملة الأولى منطقياً. هذه القدرة ضرورية للمهام التي تتطلب فهم الخطاب، مثل الإجابة على الأسئلة وتلخيص النصوص.

تطبيقات واقعية

تعدد استخدامات BERT جعله مكونًا قياسيًا في العديد من أنظمة الذكاء الاصطناعي الحديثة. فيما يلي مثالان ملموسان على تطبيقه :

1. تحسين محركات البحث: Google BERT في خوارزميات البحث الخاصة بها لتفسير الاستفسارات المعقدة بشكل أفضل. على سبيل المثال، في الاستفسار "2019 brazil traveler to usa need a visa" (مسافر برازيلي إلى الولايات المتحدة الأمريكية في عام 2019 يحتاج إلى تأشيرة)، فإن كلمة "to" (إلى) تعتبر حاسمة. غالبًا ما تعاملت النماذج التقليدية مع كلمة "إلى" على أنها كلمة توقف (كلمات شائعة يتم تصفية من النتائج)، مما أدى إلى فقدان العلاقة الاتجاهية. يفهم BERT أن المستخدم هو برازيلي يسافر إلى الولايات المتحدة الأمريكية، وليس العكس، مما يوفر نتائج بحث ذات صلة عالية.
2. تحليل المشاعر في ملاحظات العملاء: تستخدم الشركات BERT لتحليل آلاف ملاحظات العملاء أو تذاكر الدعم تلقائيًا. نظرًا لأن BERT يفهم السياق، يمكنه التمييز بين "هذه المكنسة الكهربائية سيئة" (مشاعر سلبية) و"هذه المكنسة الكهربائية تمتص كل الأوساخ" (مشاعر إيجابية). يساعد هذا التحليل الدقيق للمشاعر الشركات على فرز مشكلات الدعم track صحة track بدقة.

مقارنة مع المفاهيم ذات الصلة

من المفيد التمييز بين BERT والبنى البارزة الأخرى لفهم المكانة الخاصة بها.

• BERT مقابل GPT (Generative Pre-trained Transformer): على الرغم من أن كلاهما يستخدم بنية Transformer، إلا أن أهدافهما تختلف. يستخدم BERT مكدس Encoder وهو مُحسّن لمهام الفهم والتمييز (على سبيل المثال، التصنيف واستخراج الكيانات). في المقابل، يستخدم GPT مكدس Decoder وهو مصمم لتوليد النصوص، والتنبؤ بالكلمة التالية في تسلسل لكتابة المقالات أو الأكواد.
• BERT مقابل YOLO26: تعمل هذه النماذج في مجالات مختلفة. يعالج BERT البيانات النصية المتسلسلة للمهام اللغوية. YOLO26 هو نموذج رؤية متطور يعالج شبكات البكسل للكشف عن الكائنات في الوقت الفعلي. ومع ذلك، غالبًا ما تجمع الأنظمة الحديثة متعددة الوسائط بينهما؛ على سبيل المثال، قد detect YOLO detect في صورة، ثم يمكن لنموذج قائم على BERT الإجابة عن أسئلة حول علاقاتها.

مثال على التنفيذ: الترميز

لاستخدام BERT، يجب تحويل النص الخام إلى رموز رقمية. يستخدم النموذج مفردات محددة (مثل WordPiece) لتقسيم الكلمات. في حين أن BERT هو نموذج نصي، فإن مفاهيم المعالجة المسبقة المماثلة تنطبق في الرؤية الحاسوبية حيث يتم تقسيم الصور إلى أجزاء.

يوضح Python التالي Python كيفية استخدام transformers مكتبة لترميز جملة من أجل معالجة BERT. لاحظ أنه بينما Ultralytics على الرؤية، فإن فهم الترميز هو المفتاح لـ الذكاء الاصطناعي متعدد الوسائط سير العمل.

from transformers import BertTokenizer

# Initialize the tokenizer with the pre-trained 'bert-base-uncased' vocabulary
tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

# Tokenize a sample sentence relevant to AI
text = "Ultralytics simplifies computer vision."

# Convert text to input IDs (numerical representations)
encoded_input = tokenizer(text, return_tensors="pt")

# Display the resulting token IDs
print(f"Token IDs: {encoded_input['input_ids']}")

أهميتها في مجال الذكاء الاصطناعي

شكل إدخال BERT "ImageNet " بالنسبة إلى NLP، مما أثبت أن التعلم النقلي— التدريب المسبق لنموذج على مجموعة بيانات ضخمة ثم ضبطه لمهمة محددة — كان فعالاً للغاية بالنسبة للنصوص. وقد قلل ذلك من الحاجة إلى بنى خاصة بالمهام ومجموعات بيانات كبيرة مصنفة لكل مشكلة جديدة.

اليوم، تواصل أشكال مختلفة من BERT، مثل RoBERTa و DistilBERT، تعزيز الكفاءة في تطبيقات الذكاء الاصطناعي المتطورة. غالبًا ما يدمج المطورون الذين يسعون إلى بناء حلول شاملة للذكاء الاصطناعي هذه النماذج اللغوية جنبًا إلى جنب مع أدوات الرؤية المتاحة على Ultralytics لإنشاء أنظمة يمكنها رؤية وفهم العالم.