Text Summarization

La sintesi automatica del testo è un'attività di elaborazione del linguaggio naturale (NLP) che condensa un documento in un testo più breve, conservandone le informazioni più importanti. I due approcci principali sono la sintesi estrattiva, che seleziona le frasi più importanti dalla fonte, e la sintesi astrattiva, che scrive nuove frasi come farebbe una persona. Una sintesi può riguardare uno o più documenti e può essere generica o incentrata su una domanda, come "Cosa diceva il contratto sulla risoluzione?" I client di posta elettronica, gli strumenti per le riunioni, le app di notizie, i motori di ricerca e gli assistenti basati su modelli linguistici di grandi dimensioni (LLM) generano tutti sintesi.

Sintesi estrattiva#

Nel 1958 Hans Peter Luhn dell'IBM realizzò uno dei primi sistemi automatici di sintesi: assegnava un punteggio a ogni frase in base alle parole frequenti e significative che conteneva e restituiva le frasi con i punteggi più alti come riassunto. Nel 1969 H. P. Edmundson aggiunse parole chiave, parole del titolo e posizione della frase; nel 2004 arrivarono i metodi basati su grafi. TextRank e LexRank costruiscono un grafo i cui nodi sono frasi e i cui archi rappresentano somiglianze, poi selezionano le frasi più centrali, cioè quelle più simili al resto del documento. Gli embedding delle frasi permettono di ottenere la versione basata sulla centralità in poche righe:

from sentence_transformers import SentenceTransformer

sentences = [
    "The James Webb Space Telescope launched on 25 December 2021 on an Ariane 5 rocket from French Guiana.",
    "Webb observes the universe in infrared light, which passes through the dust that hides young stars.",
    "Its 6.5-meter primary mirror is built from 18 gold-coated hexagonal segments.",
    "A five-layer sunshield the size of a tennis court keeps the mirror and instruments cold.",
    "The telescope orbits the Sun about 1.5 million kilometers from Earth, near the second Lagrange point.",
    "NASA published the first full-color science images from Webb in July 2022.",
]
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# Assegna un punteggio a ogni frase in base alla somiglianza media con tutte le altre (la sua centralità)
embeddings = model.encode(sentences)
centrality = model.similarity(embeddings, embeddings).mean(dim=1)

# Mantieni le due frasi più centrali, nell'ordine originale
top = sorted(centrality.argsort(descending=True)[:2].tolist())
print(" ".join(sentences[i] for i in top))

La sintesi mantiene la frase sul lancio e quella sull'orbita. Ogni parola di una sintesi estrattiva proviene dalla fonte, quindi la sintesi non può affermare nulla che il documento non dica; inoltre, mantiene tutto ciò che contengono le frasi selezionate, compresi dettagli di cui il lettore potrebbe non aver bisogno e pronomi come "Il suo" all'inizio della frase sullo specchio, che rimanderebbe a una frase esclusa.

Sintesi astrattiva#

I modelli astrattivi sono modelli da sequenza a sequenza: un encoder legge il documento e un decoder scrive la sintesi un token alla volta. Nel 2015 Alexander Rush e colleghi ne addestrarono uno con un meccanismo di attenzione per scrivere titoli di notizie; la rete pointer-generator di Abigail See e colleghi (2017) consentiva al decoder di copiare direttamente dalla fonte parole come nomi e numeri e lo penalizzava se si ripeteva. I Transformer preaddestrati innalzarono poi nettamente la qualità: BART di Facebook (2019) imparava ricostruendo testi corrotti, mentre PEGASUS di Google (2020) imparava rigenerando intere frasi rimosse da un documento, un'attività di pretraining auto-supervisionato molto vicina alla sintesi stessa.

Gli LLM riassumono a partire da un'istruzione e possono seguire richieste relative a lunghezza, pubblico e formato. Un documento più lungo della finestra di contesto viene suddiviso in blocchi; ciascun blocco viene riassunto e i riassunti parziali vengono uniti in un secondo passaggio: uno schema chiamato map-reduce. Il riepilogo non si limita al testo: i modelli di comprensione dei video descrivono gli eventi di un filmato e la generazione di didascalie per immagini riduce un'immagine a una frase. In Ultralytics Platform Agents, un blocco LLM può sintetizzare un'immagine e i rilevamenti YOLO26 a monte in un breve riepilogo scritto; un blocco Slack collegato pubblica il riepilogo in un canale tramite il relativo segnaposto {output}.

Dataset e valutazione#

La maggior parte dei modelli apprende da dati di training composti da coppie di articoli e sintesi: CNN/Daily Mail abbina articoli di notizie a punti salienti in forma di elenco, mentre XSum (2018) abbina articoli della BBC a sintesi di una sola frase che raramente riutilizzano intere frasi, premiando così l'astrazione. ROUGE, introdotto da Chin-Yew Lin nel 2004, assegna un punteggio a una sintesi in base alle parole e sequenze di parole che condivide con le sintesi di riferimento scritte da persone; ROUGE-1 conta le singole parole, ROUGE-2 le coppie di parole e ROUGE-L la sottosequenza comune più lunga. I punteggi basati sulla sovrapposizione non rilevano gli errori fattuali e nel 2020 Joshua Maynez e colleghi hanno scoperto che gli annotatori umani rilevavano quantità sostanziali di contenuti allucinati nelle sintesi di ogni modello astrattivo esaminato su XSum. Hanno inoltre osservato che le misure di implicazione testuale, che verificano se la fonte implica la sintesi, riflettono la fedeltà meglio di ROUGE e di altre metriche standard.

Sintesi e termini correlati#

• Generazione del testo: produce qualsiasi testo a partire da un prompt. La sintesi è una generazione di testo vincolata ai contenuti di un documento sorgente.
• Traduzione automatica: usa la stessa architettura encoder-decoder per trasferire tutto il contenuto di un testo in un'altra lingua.
• Analisi del sentiment: classifica l'opinione espressa in un testo; la sintesi delle opinioni combina i due compiti condensando molte recensioni nei principali elogi e reclami.
• Generazione aumentata dal recupero (RAG): recupera i passaggi pertinenti a una domanda e ne genera una risposta; è quindi una forma di sintesi di più documenti incentrata su una domanda.