Text Summarization

تلخيص النصوص هو مهمة في معالجة اللغة الطبيعية (NLP) تختصر مستندًا في نص أقصر يحتفظ بأهم معلوماته. والنهجان الرئيسيان هما التلخيص الاستخراجي، الذي ينتقي أهم الجمل من المصدر، والتلخيص التجريدي، الذي ينشئ جملًا جديدة بالطريقة التي يكتب بها الإنسان. وقد يشمل الملخص مستندًا واحدًا أو عدة مستندات، كما قد يكون عامًا أو موجّهًا إلى سؤال، مثل «ماذا قال العقد عن إنهائه؟». وتُنشئ برامج البريد الإلكتروني وأدوات الاجتماعات وتطبيقات الأخبار ومحركات البحث ومساعدات النماذج اللغوية الكبيرة (LLM) ملخصات.

التلخيص الاستخراجي#

أنشأ هانز بيتر لون من IBM أحد أوائل أنظمة التلخيص الآلي عام 1958: إذ منح كل جملة درجة بناءً على الكلمات المتكررة والمهمة فيها، وأعاد الجمل الأعلى درجةً في صورة مستخلص. وأضاف هـ. ب. إدموندسون كلمات مفتاحية وكلمات العنوان وموقع الجملة عام 1969، ثم ظهرت الأساليب القائمة على الرسوم البيانية عام 2004. ينشئ TextRank وLexRank رسمًا بيانيًا تكون فيه الجمل عُقدًا وأوجه التشابه حوافًا، ثم ينتقيان الجمل الأكثر مركزية، أي الأكثر تشابهًا مع بقية المستند. وتجعل التضمينات الجملية تنفيذ نهج المركزية لا يتطلب سوى بضعة أسطر:

from sentence_transformers import SentenceTransformer

sentences = [
    "The James Webb Space Telescope launched on 25 December 2021 on an Ariane 5 rocket from French Guiana.",
    "Webb observes the universe in infrared light, which passes through the dust that hides young stars.",
    "Its 6.5-meter primary mirror is built from 18 gold-coated hexagonal segments.",
    "A five-layer sunshield the size of a tennis court keeps the mirror and instruments cold.",
    "The telescope orbits the Sun about 1.5 million kilometers from Earth, near the second Lagrange point.",
    "NASA published the first full-color science images from Webb in July 2022.",
]
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# ⁨احسب درجة كل جملة من متوسط تشابهها مع جميع الجمل (مركزيتها)⁩
embeddings = model.encode(sentences)
centrality = model.similarity(embeddings, embeddings).mean(dim=1)

# ⁨احتفظ بأكثر جملتين مركزية، مع إبقائهما بترتيبهما الأصلي⁩
top = sorted(centrality.argsort(descending=True)[:2].tolist())
print(" ".join(sentences[i] for i in top))

يحتفظ الملخص بجملة الإطلاق وجملة المدار. تأتي كل كلمة في الملخص الاستخراجي من المصدر، لذلك لا يمكن للملخص أن يذكر أمرًا غير موجود في المستند، كما أنه يحتفظ بكل ما تتضمنه الجمل المختارة، بما في ذلك التفاصيل التي قد لا يحتاج إليها القارئ والضمائر مثل «إنه» التي تبدأ بها جملة المرآة، وتشير إلى جملة محذوفة.

التلخيص التجريدي#

النماذج التجريدية هي نماذج تسلسل إلى تسلسل: يقرأ المُرمّز المستند، ويكتب المُفكّك الملخص رمزًا تلو الآخر. درّب ألكسندر راش وزملاؤه نموذجًا يستخدم آلية انتباه لكتابة عناوين الأخبار عام 2015، وأتاحَت شبكة المُولّد والمؤشّر التي أنشأها أبيغيل سي وزملاؤه (2017) للمُفكّك نسخ كلمات مثل الأسماء والأرقام مباشرةً من المصدر، كما عاقبته على التكرار. ثم رفعت المحوّلات المدرّبة مسبقًا الجودة بدرجة كبيرة: تعلّم BART من Facebook (2019) بإعادة إنشاء النصوص المشوّهة، وتعلّم PEGASUS من Google (2020) بإعادة توليد جمل كاملة حُذفت من مستند، وهي مهمة تدريب مسبق ذاتية الإشراف قريبة من التلخيص نفسه.

تلخّص نماذج LLM انطلاقًا من تعليمات، ويمكنها اتباع الطلبات المتعلقة بالطول والجمهور والتنسيق. ويُقسّم المستند الأطول من نافذة السياق إلى مقاطع، ويُلخّص كل مقطع على حدة، ثم تُدمج الملخصات الجزئية في مرور ثانٍ؛ وهذا نمط يُسمى الخريطة والاختزال. ويتجاوز التلخيص النص أيضًا: إذ تصف نماذج فهم الفيديو الأحداث في مقطع، وتختصر نماذج وصف الصور الصورة في جملة. وفي وكلاء Ultralytics Platform، يمكن لمكوّن LLM اختصار صورة وكشوف YOLO26 السابقة لها في ملخص مكتوب قصير، وينشر مكوّن Slack متصل هذا الملخص في قناة عبر العنصر النائب {output}.

مجموعات البيانات والتقييم#

تتعلّم معظم النماذج من بيانات تدريب مؤلفة من أزواج المقالات والملخصات: تربط مجموعة CNN/Daily Mail القصص الإخبارية بنقاطها الرئيسية، بينما تربط مجموعة XSum (2018) مقالات BBC بملخصات من جملة واحدة نادرًا ما تعيد استخدام جمل كاملة، وهو ما يشجّع التجريد. ويقيّم ROUGE، الذي قدّمه تشين-يو لين عام 2004، الملخص بناءً على الكلمات وتسلسلات الكلمات المشتركة بينه وبين الملخصات المرجعية التي كتبها البشر؛ إذ يحصي ROUGE-1 الكلمات المفردة، وROUGE-2 أزواج الكلمات، وROUGE-L أطول تسلسل فرعي مشترك. ولا تكشف درجات التداخل الأخطاء الواقعية، وقد وجد جوشوا ماينز وزملاؤه عام 2020 أن المعلّقين البشريين رصدوا كميات كبيرة من المحتوى المهلوس في ملخصات كل نموذج تجريدي درسوه على XSum. كما وجدوا أن مقاييس الاستلزام النصي، التي تتحقق مما إذا كان المصدر يستلزم الملخص، تقيس الأمانة على نحو أفضل من ROUGE والمقاييس القياسية الأخرى.

التلخيص ومصطلحات ذات صلة#

• توليد النصوص: ينتج أي نص انطلاقًا من موجّه. أما التلخيص فهو توليد نصوص مقيّد بمحتوى مستند مصدر.
• الترجمة الآلية: تستخدم بنية المُرمّز والمُفكّك نفسها لنقل محتوى النص كاملًا إلى لغة أخرى.
• تحليل المشاعر: يصنّف الرأي الذي يعبّر عنه النص، ويجمع تلخيص الآراء المهمتين باختصار مراجعات كثيرة في أبرز نقاط الثناء والشكوى.
• التوليد المعزّز بالاسترجاع (RAG): يسترجع مقاطع ذات صلة بسؤال وينشئ إجابة منها، ما يجعله شكلًا من أشكال التلخيص الموجّه بالاستعلام عبر مستندات متعددة.