Text Summarization

Реферирование текста — задача обработки естественного языка (NLP), цель которой — сократить документ до более короткого текста, сохранив в нём самую важную информацию. Существуют два основных подхода: экстрактивное реферирование, при котором из исходного текста выбирают наиболее важные предложения, и абстрактивное реферирование, при котором новые предложения формулируются так, как это сделал бы человек. Краткое изложение может охватывать один или несколько документов, быть общим или отвечать на конкретный вопрос, например: «Что в договоре говорится о расторжении?». Краткие изложения создают почтовые клиенты, инструменты для встреч, новостные приложения, поисковые системы и помощники на базе больших языковых моделей (LLM).

Экстрактивное реферирование#

В 1958 году Ханс Петер Лун из IBM создал один из первых инструментов автоматического реферирования: он оценивал предложения по частоте встречающихся в них значимых слов и выдавал наиболее важные предложения в качестве аннотации. В 1969 году Х. П. Эдмундсон добавил слова-маркеры, слова из заголовка и позицию предложения, а в 2004 году появились графовые методы. TextRank и LexRank строят граф, где узлы — предложения, а рёбра отражают степень их сходства, а затем выбирают наиболее центральные предложения, то есть те, которые больше всего похожи на остальные в документе. Если использовать эмбеддинги предложений, вычисление центральности занимает всего несколько строк:

from sentence_transformers import SentenceTransformer

sentences = [
    "The James Webb Space Telescope launched on 25 December 2021 on an Ariane 5 rocket from French Guiana.",
    "Webb observes the universe in infrared light, which passes through the dust that hides young stars.",
    "Its 6.5-meter primary mirror is built from 18 gold-coated hexagonal segments.",
    "A five-layer sunshield the size of a tennis court keeps the mirror and instruments cold.",
    "The telescope orbits the Sun about 1.5 million kilometers from Earth, near the second Lagrange point.",
    "NASA published the first full-color science images from Webb in July 2022.",
]
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# Оценить каждое предложение по средней степени сходства со всеми остальными (центральности)
embeddings = model.encode(sentences)
centrality = model.similarity(embeddings, embeddings).mean(dim=1)

# Оставить два наиболее центральных предложения в исходном порядке
top = sorted(centrality.argsort(descending=True)[:2].tolist())
print(" ".join(sentences[i] for i in top))

В краткое изложение вошли предложение о запуске и предложение об орбите. Все слова экстрактивного краткого изложения взяты из исходного текста, поэтому в нём не может быть утверждений, которых нет в документе. При этом оно сохраняет всё содержание выбранных предложений, включая ненужные читателю подробности и местоимения вроде «Его» в начале предложения о зеркале, которое отсылало бы к пропущенному предложению.

Абстрактивное реферирование#

Абстрактивные модели — это модели «последовательность-в-последовательность»: энкодер читает документ, а декодер по одному токену генерирует краткое изложение. В 2015 году Александр Раш и его коллеги обучили такую модель с механизмом внимания для создания новостных заголовков. А сеть с указателем и генератором, разработанная Эбигейл Си и её коллегами в 2017 году, позволяла декодеру напрямую копировать из исходного текста такие слова, как имена и числа, и штрафовала его за повторы. Затем предварительно обученные трансформеры резко повысили качество: BART от Facebook (2019) училась восстанавливать искажённый текст, а PEGASUS от Google (2020) — заново генерировать целые предложения, удалённые из документа. Эта задача самостоятельного обучения близка к самому реферированию.

LLM составляют краткое изложение по инструкции и могут учитывать запрошенную длину, аудиторию и формат. Документ, превышающий контекстное окно, разбивают на части; каждую часть кратко излагают, а затем объединяют результаты на втором проходе. Этот подход называется map-reduce. Краткое изложение может охватывать не только текст: модели понимания видео описывают события в ролике, а модели создания описаний изображений сводят картинку к одному предложению. В Ultralytics Platform Agents блок LLM может кратко описать изображение и результаты вышестоящего обнаружения YOLO26, а подключённый блок Slack отправляет это описание в канал через заполнитель {output}.

Наборы данных и оценка#

Большинство моделей обучаются на обучающих данных, состоящих из пар «статья — краткое изложение»: в CNN/Daily Mail новостным статьям соответствуют тезисные пункты, а в XSum (2018) статьям BBC — краткие изложения из одного предложения, которые редко повторяют целые предложения из исходника, поощряя абстрагирование. Метрика ROUGE, предложенная Чин-Ю Лином в 2004 году, оценивает краткое изложение по совпадающим словам и последовательностям слов с написанными людьми эталонными краткими изложениями: ROUGE-1 считает отдельные слова, ROUGE-2 — пары слов, а ROUGE-L — наибольшую общую подпоследовательность. Оценки совпадений не выявляют фактические ошибки. В 2020 году Джошуа Мэйнез и его коллеги обнаружили, что люди-разметчики видели значительный объём галлюцинированного содержимого в кратких изложениях каждой изученной ими абстрактивной модели на XSum. Они также выяснили, что метрики текстового следования, проверяющие, следует ли краткое изложение из исходного текста, лучше отражают точность, чем ROUGE и другие стандартные метрики.

Реферирование и родственные термины#

• Генерация текста: создаёт текст по запросу. Реферирование — это генерация текста, ограниченная содержимым исходного документа.
• Машинный перевод: использует ту же архитектуру энкодер-декодер, чтобы передать всё содержание текста на другом языке.
• Анализ тональности: классифицирует выраженное в тексте мнение, а реферирование мнений объединяет обе задачи, сводя множество отзывов к основным похвалам и претензиям.
• Генерация с дополнением извлечённой информацией (RAG): находит фрагменты, относящиеся к вопросу, и генерирует на их основе ответ, поэтому это разновидность реферирования нескольких документов с фокусом на запросе.