Machine Translation

الترجمة الآلية (MT) هي الترجمة التلقائية للنص أو الكلام من لغة إلى أخرى. وهي من أقدم المهام في معالجة اللغة الطبيعية (NLP) وأكثرها استخدامًا: إذ تترجم Google Translate وDeepL وMicrosoft Translator صفحات الويب والمستندات ورسائل الدردشة وقوائم المنتجات والمحادثات المنطوقة على نطاق لا يستطيع أي فريق من المترجمين البشر مجاراته. تستخدم الأنظمة اليوم الشبكات العصبية، وتترجم النماذج اللغوية الكبيرة (LLMs) بوصفها إحدى قدراتها العامة.

من القواعد إلى الإحصاء إلى الشبكات العصبية#

ترجمت تجربة جورجتاون-IBM عام 1954 أكثر من ستين جملة روسية إلى الإنجليزية باستخدام مفردات تضم 250 كلمة وست قواعد نحوية، وتوقع منظموها أن تُحل مشكلة الترجمة الآلية خلال بضع سنوات. وفي عام 1966، خلص تقرير ALPAC إلى أن الترجمة الآلية أبطأ وأقل دقة من الترجمة البشرية، فخُفّض التمويل الأمريكي لأبحاثها بشدة. وكانت الأنظمة القائمة على القواعد، مثل SYSTRAN التي تأسست عام 1968، ترمّز يدويًا القواميس والقواعد النحوية لكل زوج لغوي.

تعلّمت الترجمة الآلية الإحصائية الترجمة من البيانات بدلًا من ذلك. نشر باحثون في IBM بقيادة Peter Brown نماذج لمحاذاة الكلمات عام 1993، تعلّمت الكلمات الفرنسية التي تقابل الكلمات الإنجليزية من السجل الثنائي اللغة للبرلمان الكندي، ثم ترجمت الترجمة الآلية القائمة على العبارات (2003) مقاطع متعددة الكلمات، وهو النهج الذي استخدمه Google Translate عند إطلاقه عام 2006. واستبدلت الترجمة الآلية العصبية سلسلة المعالجة الإحصائية بشبكة واحدة تُدرَّب من البداية إلى النهاية: استخدم نموذج التسلسل إلى التسلسل الذي ابتكره Ilya Sutskever وزملاؤه شبكات الذاكرة طويلة قصيرة الأمد (LSTM) (2014) لترميز جملة في متجه واحد وفك ترميزها بلغة أخرى، وأضاف Dzmitry Bahdanau وKyunghyun Cho وYoshua Bengio آلية انتباه تتيح لفك الترميز الرجوع إلى كل كلمة في المصدر. وخفّض نظام Google العصبي أخطاء الترجمة بنسبة 60% في المتوسط مقارنة بنظام الإنتاج القائم على العبارات، وفق تقييم بشري في عام 2016 قارن مباشرةً ترجمة جمل بسيطة؛ وحقق المحوّل، الذي قُدّم للترجمة في العام التالي، 28.4 BLEU من الإنجليزية إلى الألمانية و41.8 من الإنجليزية إلى الفرنسية على معايير WMT 2014.

كيف تعمل الترجمة الآلية العصبية#

يُقسَّم النص المصدر إلى رموز جزئية الكلمات بواسطة أساليب تقسيم النص إلى رموز مثل ترميز أزواج البايتات، بحيث تتجزأ الكلمات والأسماء النادرة إلى أجزاء معروفة. يحوّل المُرمِّز جملة المصدر كاملةً إلى متجهات سياقية، ويكتب مفكّك الترميز الترجمة رمزًا تلو الآخر، مع الانتباه إلى الرموز التي كتبها بالفعل، وإلى متجهات المُرمِّز عبر الانتباه المتقاطع:

نظرًا إلى أن المُرمِّز يقرأ الجملة كاملةً قبل أن يكتب مفكّك الترميز أي شيء، تعتمد ترجمة كل كلمة على سياقها:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# T5 is an encoder-decoder transformer; a text prefix selects the translation task
tokenizer = AutoTokenizer.from_pretrained("google-t5/t5-small")
model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-small")

sentences = ["She went to the bank to open an account.", "They had a picnic on the bank of the river."]
inputs = tokenizer([f"translate English to German: {s}" for s in sentences], return_tensors="pt", padding=True)

# The decoder writes each German sentence one token at a time with beam search
outputs = model.generate(**inputs, num_beams=4, max_new_tokens=40)
for source, translation in zip(sentences, tokenizer.batch_decode(outputs, skip_special_tokens=True)):
    print(f"{source} -> {translation}")

يترجم T5-small من Google، الذي يحتوي على 60 مليون مُعامل ودُرّب على الترجمة من الإنجليزية إلى الألمانية ضمن مهامه، كلمة "bank" إلى "Bank" (المؤسسة المالية) في "Sie ging an die Bank, um ein Konto zu eröffnen." وإلى "Ufer" (ضفة النهر) في "Sie hatten ein Picknick am Ufer des Flusses." كما ينقل "eröffnen" (يفتح) إلى نهاية الجملة التابعة، وفق ترتيب الكلمات الألماني.

تقييم الترجمة#

يقيس BLEU، الذي قدّمه Kishore Papineni وزملاؤه في IBM عام 2002، الترجمة بناءً على تداخل تسلسلات كلماتها مع ترجمة مرجعية بشرية واحدة أو أكثر، مع فرض عقوبة على المخرجات القصيرة جدًا. وهو منخفض التكلفة وقابل لإعادة الإنتاج، لكنه يمنح درجات منخفضة لترجمات صحيحة تختلف صياغتها عن المراجع. أما المقاييس المتعلّمة مثل COMET (2020)، فتقيّم الترجمة باستخدام شبكة عصبية مدرّبة على أحكام بشرية بشأن الجودة. وخلصت مهمة المقاييس المشتركة في WMT لعام 2022، التي حملت عنوان "توقفوا عن استخدام BLEU"، إلى أن المقاييس العصبية تتفق مع تقييمات الخبراء البشر بدرجة أكبر من BLEU.

الأنظمة الحالية والتحديات#

يترجم NLLB-200 من Meta (2022) بين 200 لغة، كثير منها لا تتوفر له نصوص رقمية كثيرة، وقد حسّن BLEU بنسبة 44% مقارنةً بأفضل أداء سابق على معيار Flores-200 الخاص به. تفتقر اللغات منخفضة الموارد إلى بيانات التدريب المتوازية، لذا تنشئ الأنظمة أزواجًا اصطناعية باستخدام الترجمة العكسية، وهي أسلوب زيادة البيانات الذي يترجم نصوصًا أحادية اللغة بلغة الهدف إلى لغة المصدر. وقد تُهلوس الأنظمة العصبية أيضًا مخرجات سلسة لا صلة لها بالمصدر، خصوصًا عند التعامل مع مدخلات مشوشة أو منخفضة الموارد. ويُعد النوع الاجتماعي مصدرًا معروفًا لـالتحيز: فقد يُترجم ضمير تركي محايد إلى "هو" عند الحديث عن طبيب وإلى "هي" عند الحديث عن ممرضة، ما دفع Google Translate إلى عرض ترجمات مؤنثة ومذكرة لبعض الاستعلامات عام 2018. وتتكامل الترجمة الآلية أيضًا مع وسائط أخرى: إذ تشغّل تطبيقات كاميرا الهواتف التعرّف الضوئي على الحروف (OCR) على اللافتات والقوائم قبل ترجمتها، وتجمع ترجمة الكلام بين تحويل الكلام إلى نص والترجمة الآلية وتحويل النص إلى كلام، أو تنفذ العمليات الثلاث في نموذج واحد. تقبل واجهة Ultralytics للنماذج اللغوية الكبيرة وسيط image إلى جانب المطالبة، ما يتيح لمسار معالجة في Python إرسال صورة لافتة إلى نموذج الرؤية واللغة وطلب نصها بالإنجليزية في استدعاء واحد.

الترجمة الآلية مقارنةً بالمصطلحات ذات الصلة#

• NLP: مجال الحوسبة المعني باللغة البشرية، والترجمة الآلية إحدى مهامه.
• الترجمة باستخدام LLM: تترجم النماذج العامة مثل GPT وGemini عند توجيهها بمطالبة، ويمكنها استخدام مستند كامل أو مسرد بوصفه سياقًا. أما نماذج الترجمة الآلية المخصصة فتُدرَّب على الترجمة وحدها، ويصدر NLLB-200 نسخًا مقطّرة تحتوي على 600 مليون و1.3 مليار مُعامل، وتغطي لغاته المئتين كلها.
• التوطين: تكييف منتج لسوق معينة، بما يشمل التواريخ والعملات والصور والإشارات الثقافية. تترجم الترجمة الآلية النص، ثم تراجعه فرق التوطين وتكيّفه.