Text Summarization

Die Textzusammenfassung ist eine Aufgabe der Verarbeitung natürlicher Sprache (NLP), bei der ein Dokument zu einem kürzeren Text verdichtet wird, der die wichtigsten Informationen enthält. Die beiden Hauptansätze sind die extraktive Zusammenfassung, bei der die wichtigsten Sätze aus dem Ausgangstext ausgewählt werden, und die abstraktive Zusammenfassung, bei der neue Sätze so formuliert werden, wie es ein Mensch tun würde. Eine Zusammenfassung kann ein Dokument oder mehrere Dokumente umfassen und allgemein gehalten oder auf eine konkrete Frage ausgerichtet sein, etwa: „Was stand im Vertrag über die Kündigung?“ E-Mail-Programme, Tools für Besprechungen, Nachrichten-Apps, Suchmaschinen und Assistenten auf Basis eines großen Sprachmodells (LLM) erstellen alle Zusammenfassungen.

Extraktive Zusammenfassung#

Hans Peter Luhn von IBM entwickelte 1958 eines der ersten automatischen Zusammenfassungsprogramme: Es bewertete jeden Satz nach den darin enthaltenen häufigen, aussagekräftigen Wörtern und gab die bestbewerteten Sätze als Kurzfassung aus. H. P. Edmundson ergänzte 1969 Signalwörter, Titelwörter und die Position des Satzes. 2004 folgten graphbasierte Verfahren. TextRank und LexRank erstellen einen Graphen, dessen Knoten Sätze und dessen Kanten Ähnlichkeiten darstellen, und wählen anschließend die zentralsten Sätze aus – also diejenigen, die den übrigen Sätzen im Dokument am ähnlichsten sind. Mit Satz-Einbettungen lässt sich die Zentralität in wenigen Zeilen berechnen:

from sentence_transformers import SentenceTransformer

sentences = [
    "The James Webb Space Telescope launched on 25 December 2021 on an Ariane 5 rocket from French Guiana.",
    "Webb observes the universe in infrared light, which passes through the dust that hides young stars.",
    "Its 6.5-meter primary mirror is built from 18 gold-coated hexagonal segments.",
    "A five-layer sunshield the size of a tennis court keeps the mirror and instruments cold.",
    "The telescope orbits the Sun about 1.5 million kilometers from Earth, near the second Lagrange point.",
    "NASA published the first full-color science images from Webb in July 2022.",
]
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# Bewerte jeden Satz anhand seiner durchschnittlichen Ähnlichkeit zu allen anderen Sätzen (seiner Zentralität).
embeddings = model.encode(sentences)
centrality = model.similarity(embeddings, embeddings).mean(dim=1)

# Behalte die beiden zentralsten Sätze in ihrer ursprünglichen Reihenfolge bei.
top = sorted(centrality.argsort(descending=True)[:2].tolist())
print(" ".join(sentences[i] for i in top))

Die Zusammenfassung enthält den Satz über den Start und den Satz über die Umlaufbahn. Jedes Wort einer extraktiven Zusammenfassung stammt aus der Quelle. Sie kann daher nichts aussagen, was nicht im Dokument steht, und übernimmt den Inhalt der ausgewählten Sätze – auch Details, die für Leser vielleicht unwichtig sind, sowie Pronomen wie das „Sein“ am Anfang des Satzes über den Spiegel, das sich auf einen ausgelassenen Satz beziehen würde.

Abstraktive Zusammenfassung#

Abstraktive Modelle sind Sequenz-zu-Sequenz-Modelle: Ein Encoder liest das Dokument, und ein Decoder verfasst die Zusammenfassung Token für Token. Alexander Rush und Kollegen trainierten 2015 ein Modell mit einem Aufmerksamkeitsmechanismus, um Nachrichtenüberschriften zu formulieren. Das Pointer-Generator-Netzwerk von Abigail See und Kollegen (2017) ermöglichte es dem Decoder, Wörter wie Namen und Zahlen direkt aus der Quelle zu übernehmen, und bestrafte Wiederholungen. Vortrainierte Transformer steigerten die Qualität dann deutlich: BART von Facebook (2019) lernte durch die Rekonstruktion beschädigter Texte, während PEGASUS von Google (2020) ganze Sätze neu formulierte, die aus einem Dokument entfernt worden waren – eine selbstüberwachte Vortrainingsaufgabe, die der Zusammenfassung selbst sehr nahekommt.

LLMs fassen Texte anhand einer Anweisung zusammen und können Vorgaben zu Länge, Zielgruppe und Format befolgen. Ist ein Dokument länger als das Kontextfenster, wird es in Abschnitte unterteilt, jeder Abschnitt wird zusammengefasst und die Teilergebnisse werden in einem zweiten Durchlauf zusammengeführt. Dieses Muster heißt Map-Reduce. Zusammenfassungen beschränken sich nicht auf Text: Modelle für Videoverständnis beschreiben Ereignisse in einem Clip, und die Bildbeschreibung fasst ein Bild in einem Satz zusammen. In Ultralytics Platform Agents kann ein LLM-Block ein Bild samt den vorgeschalteten YOLO26-Erkennungen zu einer kurzen schriftlichen Zusammenfassung verdichten. Ein verbundener Slack-Block veröffentlicht diese Zusammenfassung mithilfe des Platzhalters {output} in einem Kanal.

Datensätze und Auswertung#

Die meisten Modelle lernen anhand von Trainingsdaten, die aus Artikel-Zusammenfassungs-Paaren bestehen: CNN/Daily Mail verknüpft Nachrichtenartikel mit stichpunktartigen Zusammenfassungen, während XSum (2018) BBC-Artikel mit einzeiligen Zusammenfassungen verbindet, die ganze Sätze nur selten wiederverwenden und dadurch abstrakte Formulierungen begünstigen. ROUGE, 2004 von Chin-Yew Lin eingeführt, bewertet eine Zusammenfassung anhand der gemeinsamen Wörter und Wortfolgen mit von Menschen verfassten Referenzzusammenfassungen. ROUGE-1 zählt einzelne Wörter, ROUGE-2 Wortpaare und ROUGE-L die längste gemeinsame Teilsequenz. Überschneidungswerte erkennen sachliche Fehler nicht. Joshua Maynez und Kollegen stellten 2020 fest, dass menschliche Prüfer in den XSum-Zusammenfassungen aller von ihnen untersuchten abstraktiven Modelle erhebliche Mengen an halluzinierten Inhalten fanden. Außerdem stellten sie fest, dass Messungen der textuellen Folgerichtigkeit, die prüfen, ob sich die Zusammenfassung aus der Quelle ableiten lässt, die Faktentreue besser abbilden als ROUGE und andere Standardkennzahlen.

Zusammenfassung im Vergleich zu verwandten Begriffen#

• Textgenerierung: Erzeugt beliebige Texte aus einer Eingabeaufforderung. Bei einer Zusammenfassung ist die Textgenerierung auf den Inhalt eines Quelldokuments beschränkt.
• Maschinelle Übersetzung: Verwendet dieselbe Encoder-Decoder-Architektur, um den gesamten Inhalt eines Textes in eine andere Sprache zu übertragen.
• Sentimentanalyse: Klassifiziert die in einem Text ausgedrückte Meinung. Bei der Zusammenfassung von Meinungen werden beide Aufgaben kombiniert, indem zahlreiche Rezensionen auf ihre wichtigsten positiven und negativen Punkte verdichtet werden.
• Retrieval-Augmented Generation (RAG): Ruft für eine Frage relevante Textpassagen ab und erzeugt daraus eine Antwort. Damit ist sie eine Form der auf eine Frage ausgerichteten Zusammenfassung mehrerer Dokumente.