Natural Language Understanding (NLU)

فهم اللغة الطبيعية (NLU) هو الجزء من معالجة اللغة الطبيعية (NLP) الذي يستنتج معنى نص ما: ما الذي يريده الكاتب، وما الأشياء التي يذكرها، وأي قراءة يقصدها حين تحتمل الكلمات أكثر من معنى. يحوّل نظام فهم اللغة الطبيعية عبارة «احجز طاولة لشخصين في السابعة من مساء الغد» إلى طلب منظّم، أي مقصد مثل reserve_table مع خانات لعدد الأشخاص والوقت والتاريخ، يمكن للبرمجيات تنفيذه. وتطبّق المساعدات الافتراضية وروبوتات المحادثة لخدمة العملاء ومحركات البحث فهم اللغة الطبيعية على كل طلب قبل أن تقرر ما ينبغي فعله أو قوله.

لماذا يصعب فهم اللغة#

قد تحمل الكلمات نفسها معاني مختلفة على كل مستوى. فكلمة «bank» قد تعني مؤسسة مالية أو ضفة نهر، وعبارة «رأيت الرجل بالتلسكوب» لا توضح من يحمل التلسكوب؛ وفي عبارة «الكأس لا يتسع له الحقيبة البنية لأنه كبير جدًا»، تشير «هو» إلى الكأس، لكن استبدال «كبير» بـ«صغير» يجعلها تشير إلى الحقيبة. اقترح هيكتور ليفيسك مثل هذه الصيغ، المعروفة باسم مخططات وينوغراد، عام 2011 لاختبار فهم الآلة، لأن حلها يتطلب معرفة بالعالم لا إحصاءات الكلمات. وكانت الأنظمة المبكرة القائمة على القواعد، مثل SHRDLU لتيري وينوغراد (1968-1970)، تفهم الأوامر المكتوبة ضمن عالم محاكاة من المكعبات فقط، وصفته قواعدها بالكامل.

المهام الأساسية لفهم اللغة الطبيعية#

• تصنيف النوايا: يسند الطلب إلى أحد أهداف التطبيق، مثل التحقق من الرصيد أو إيقاف بطاقة.
• التعرّف على الكيانات المسماة (NER): يعثر على الأشخاص والأماكن والمنتجات والتواريخ والمبالغ المذكورة في الطلب، وتستخدمها المساعدات لملء خانات النية.
• التحليل الدلالي: يربط الجملة بتمثيل رسمي يمكن للبرنامج تنفيذه، مثل استعلام قاعدة بيانات أو استدعاء API.
• حل الإحالة المشتركة: يربط الضمائر والإشارات الأخرى بالكيانات التي تشير إليها.
• الاستدلال اللغوي الطبيعي: يحدد ما إذا كانت جملة ما تستلزم جملة أخرى أو تناقضها أو لا ترتبط بها.
• تحليل المشاعر: يحدد الرأي الذي يعبّر عنه النص.

عادةً ما تصنّف المساعدات النوايا باستخدام مُرمِّز قائم على المحوّل وخاضعٍ للضبط الدقيق. ويمكن لمُرمِّز الجمل أيضًا تصنيف النوايا بأسلوب التعلّم أحاديّ المثال، اعتمادًا على مثال واحد لكل نية، وذلك باختيار النية التي يكون مثالها الأقرب إلى الطلب من حيث المعنى:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# One labeled example per intent, as an assistant's training data would provide
intents = {
    "check_balance": "What is my account balance?",
    "block_card": "Please freeze my debit card",
    "transfer_money": "Send money to another account",
}
utterances = ["my card was stolen", "how much cash do I have left", "pay Alex back 20 dollars"]

# Assign each utterance the intent whose example is closest in meaning
scores = model.similarity(model.encode(utterances), model.encode(list(intents.values())))
for text, row in zip(utterances, scores):
    best = int(row.argmax())
    print(f"{text!r} -> {list(intents)[best]} ({row[best]:.2f})")

تحصل الطلبات الثلاثة على النية الصحيحة: block_card (0.42) وcheck_balance (0.49) وtransfer_money (0.28). ولا تشترك عبارتا «كم تبقّى لدي من نقود» و«أعد إلى أليكس 20 دولارًا» في أي كلمات مع أمثلة النوايا الخاصة بهما، لذا يأتي التطابق من التضمينات لا من الكلمات المفتاحية. ويفوز طلب التحويل بدرجة 0.28 فقط، مقابل 0.17 للنوايا الأخرى، وترسل أُطر العمل مثل Rasa الطلبات التي تقل أفضل درجاتها عن عتبة الثقة إلى مسار احتياطي يطلب من المستخدم إعادة الصياغة.

المقاييس المرجعية والنماذج#

جمعت GLUE (2018) تسع مهام للجمل وأزواج الجمل، شملت تحليل المشاعر واكتشاف إعادة الصياغة والاستدلال اللغوي الطبيعي، في درجة واحدة، ورفع BERT الدرجة إلى 80.5 عام 2018. وأضاف خليفتها الأصعب SuperGLUE (2019) حل الإحالة المشتركة بأسلوب وينوغراد، وفي يناير 2021 تجاوز كل من DeBERTa من Microsoft وT5 + Meena من Google خط الأساس البشري البالغ 89.8. وقد تستند الدرجات المرتفعة إلى التعلّم بالاختصارات: إذ أظهر سوشين غورورانغان وزملاؤه عام 2018 أن مصنّفًا يقرأ الجملة الثانية فقط من كل زوج استدلال صنّف نحو 67% من مجموعة بيانات SNLI تصنيفًا صحيحًا، لأن مؤشرات مثل كلمات النفي ترتبط بوسم «التناقض». وتؤدي النماذج اللغوية الكبيرة (LLMs) الآن معظم مهام فهم اللغة الطبيعية استنادًا إلى توجيه، بينما تظل نماذج المُشفِّرات الصغيرة شائعة عندما يكون زمن الاستجابة والتكلفة لكل طلب مهمين.

فهم اللغة الطبيعية في البحث والرؤية#

يطبّق البحث الدلالي فهم اللغة الطبيعية على الاستعلامات، فيطابق معنى الاستعلام بدلًا من كلماته الدقيقة، ويجعل البحث المتجهي ذلك سريعًا عبر ملايين العناصر. وتعمل الفكرة نفسها بين الوسائط عندما تشترك النصوص والصور في فضاء تضمين، كما في CLIP. تأخذ علامة تبويب الصور في صفحة الاستكشاف بمنصة Ultralytics وصفًا لمشهد مثل «قطط على أريكة»، وتعرض صورًا من مجموعات بيانات عامة استنادًا إلى محتواها، دون الاعتماد على أسماء الملفات أو الوسوم.

فهم اللغة الطبيعية مقارنةً بالمصطلحات ذات الصلة#

• معالجة اللغة الطبيعية: المجال الكامل للحوسبة باستخدام اللغة البشرية. يفسّر فهم اللغة الطبيعية المدخلات، ويُنتج توليد اللغة الطبيعية (NLG) المخرجات.
• التعرّف على الكلام: يحوّل الصوت المنطوق إلى نص، ثم يفسّر فهم اللغة الطبيعية النص المفرّغ.
• التعرّف الضوئي على الحروف (OCR): يستخرج الأحرف من صور النصوص، ثم يستطيع فهم اللغة الطبيعية قراءتها واستخلاص معناها.
• الإجابة عن الأسئلة: يعيد إجابات عن أسئلة باللغة الطبيعية، ما يتطلب من فهم اللغة الطبيعية تفسير السؤال والنص الذي يجيب عنه.