Named Entity Recognition (NER)

التعرّف على الكيانات المسماة (NER) هو مهمة في معالجة اللغة الطبيعية (NLP) تحدد المقاطع النصية التي تسمّي أشياء من العالم الحقيقي، وتُسنِد إلى كل مقطع نوعًا مثل شخص أو مؤسسة أو موقع أو تاريخ أو مبلغ مالي. في الجملة «درّست Marie Curie في University of Paris منذ عام 1906»، يحدد نموذج NER «Marie Curie» بوصفها شخصًا، و«University of Paris» بوصفها مؤسسة، و«1906» بوصفه تاريخًا. يحوّل هذا رسائل البريد الإلكتروني والتقارير والعقود والنصوص المفرّغة إلى سجلات منظّمة يمكن لمحركات البحث والرسوم البيانية المعرفية والتحليلات وأدوات الخصوصية استخدامها. جعلت مؤتمرات فهم الرسائل في تسعينيات القرن الماضي من NER مهمة تقييم قياسية، وحددت المهمة المشتركة CoNLL-2003 الأنواع الأربعة التي لا تزال مستخدمة معيارًا مرجعيًا: الشخص والموقع والمؤسسة والمتفرقات. وتحدد مخططات أوسع مثل OntoNotes 5.0 عددًا من 18 نوعًا، تشمل التواريخ والكميات والمنتجات والأحداث.

آلية عمل NER#

يُصاغ NER عادةً بوصفه وسمًا للتسلسلات. يقسم المُجزِّئ النص إلى وحدات رمزية، ويسند النموذج إلى كل وحدة وسمًا وفق مخطط BIO: تشير B- إلى بداية كيان، وI- إلى وحدة داخله، وO إلى وحدة خارج أي كيان، وبذلك تبقى الأسماء متعددة الكلمات مثل «University of Paris» متماسكة. يحوّل هذا الرمز الوسوم التي يتنبأ بها النموذج إلى مقاطع كيانات:

# Token-level BIO tags, as predicted by an NER model for one sentence
tokens = ["Marie", "Curie", "taught", "at", "the", "University", "of", "Paris", "from", "1906", "."]
tags = ["B-PER", "I-PER", "O", "O", "O", "B-ORG", "I-ORG", "I-ORG", "O", "B-DATE", "O"]

# Merge each B- tag with the I- tags that follow it into one entity span
entities = []
for token, tag in zip(tokens, tags):
    if tag.startswith("B-"):
        entities.append([token, tag[2:]])
    elif tag.startswith("I-") and entities and entities[-1][1] == tag[2:]:
        entities[-1][0] += f" {token}"

print(entities)

يطبع [['Marie Curie', 'PER'], ['University of Paris', 'ORG'], ['1906', 'DATE']]، وهو الناتج المنظّم الذي تخزنه الأنظمة اللاحقة وتستعلم عنه.

تطورت النماذج التي تتنبأ بالوسوم على مدى ثلاثة عقود. استخدمت الأنظمة الأولى قواعد مكتوبة يدويًا وقوائم أسماء معروفة. وتعلمت واسمات إحصائية مثل نماذج ماركوف المخفية وحقول العشوائية الشرطية من نصوص مشروحة باستخدام سمات مصممة يدويًا، مثل استخدام الأحرف الكبيرة ونهايات الكلمات. في عام 2016، تعلمت شبكات LSTM ثنائية الاتجاه ذات طبقة إخراج CRF تلك السمات بنفسها، ثم ظهرت المحوّلات المضبوطة بدقة: حقق BERT درجة F1 بلغت 92.8 على مجموعة اختبار CoNLL-2003. يتيح الانتباه الذاتي لهذه النماذج استخدام الجملة كاملةً كسياق، لذا تُوسَم «Apple» بوصفها مؤسسة في «أصدرت Apple هاتفًا جديدًا»، ولا تُوسَم في «أكلت تفاحة». تُقيّم الأنظمة باستخدام الدقة والاستدعاء ودرجة F1 على مستوى الكيان، ولا يُحتسب التنبؤ صحيحًا إلا إذا تطابق كل من مقطعه ونوعه تمامًا مع المرجع.

تتخلى النماذج الأحدث عن مجموعة الوسوم الثابتة. يأخذ GLiNER، وهو محوّل ثنائي الاتجاه مدمج، أسماء أنواع الكيانات كمدخلات ويعثر على المقاطع المطابقة لأنواع لم يرها أثناء التدريب، كما تستخرج النماذج اللغوية الكبيرة الكيانات عند توجيهها بمخطط وطلب مخرجات منظّمة.

NER مقابل المهام ذات الصلة#

• ربط الكيانات: يربط كل إشارة معروفة بمدخل محدد في قاعدة معرفية مثل Wikidata، بحيث تُحسم دلالة «Paris» إلى المدينة أو إلى Paris Hilton.
• استخراج العلاقات: يحدد كيفية ارتباط الكيانات، مثل الشخص الذي يعمل لدى مؤسسة معينة، وغالبًا ما يعتمد على مخرجات NER.
• تحليل المشاعر: يقيس الرأي الذي يعبر عنه النص. يحدد NER موضوع المراجعة، ويقيس تحليل المشاعر شعور الكاتب تجاهه.
• اكتشاف الأجسام: النظير البصري لـ NER؛ إذ يحدد مناطق الصورة ويسند إلى كل منها فئة.

للفكرة ذات التسميات المفتوحة في GLiNER نظير مباشر في الرؤية: يأخذ YOLOE-26، وهو الإصدار ذو المفردات المفتوحة من Ultralytics YOLO26، أسماء الفئات على هيئة مطالبات نصية وقت الاستدلال، ويكتشف أجسام تلك الفئات ويجزّئها، حتى إن كانت خارج فئات التدريب.

تطبيقات عملية#

يجمع معالجة المستندات بين NER والتعرّف الضوئي على المحارف (OCR): إذ تُمسح الفواتير والعقود والنماذج ضوئيًا، ويقرأ OCR النص، ثم يستخرج NER حقولًا مثل المورّد والتاريخ والمبلغ الإجمالي لأنظمة المحاسبة والامتثال. وترسل مسارات الإنتاج التنبؤات غير المؤكدة إلى الأشخاص، وتتعلم من تصحيحاتهم:

• تنقيح معلومات تحديد الهوية الشخصية (PII): تستخدم أدوات الخصوصية مثل Presidio مفتوح المصدر من Microsoft تقنية NER إلى جانب قواعد الأنماط للعثور على الأسماء والعناوين وأرقام الحسابات وإخفائها قبل مشاركة النص أو استخدامه للتدريب.
• تنقيب النصوص السريرية: يستخرج NER السريري الأدوية والجرعات والأعراض والتشخيصات من ملاحظات الأطباء، كي تتمكن المستشفيات والباحثون من البحث في السجلات وتحليلها على نطاق واسع.
• البحث والتوصيات: تضع المواقع الإخبارية ومنصات المحتوى وسومًا للمقالات تشير إلى الأشخاص والشركات والأماكن المذكورة فيها، ما يتيح البحث حسب الكيان واقتراح قصص ذات صلة.