Text Summarization

Le résumé de texte est une tâche de traitement automatique du langage naturel (NLP) qui consiste à condenser un document en un texte plus court conservant ses informations les plus importantes. Les deux principales approches sont le résumé extractif, qui sélectionne les phrases les plus importantes de la source, et le résumé abstractif, qui rédige de nouvelles phrases comme le ferait une personne. Un résumé peut porter sur un seul document ou plusieurs, et être général ou centré sur une question, telle que « Que disait le contrat au sujet de la résiliation ? ». Les clients de messagerie, les outils de réunion, les applications d’actualités, les moteurs de recherche et les assistants à grands modèles de langage (LLM) produisent tous des résumés.

Résumé extractif#

Hans Peter Luhn, d’IBM, a créé l’un des premiers résumeurs automatiques en 1958 : il attribuait un score à chaque phrase en fonction des mots fréquents et significatifs qu’elle contenait, puis renvoyait les phrases les mieux notées sous forme de résumé. En 1969, H. P. Edmundson a ajouté des mots indicateurs, des mots du titre et la position des phrases ; les méthodes par graphes ont suivi en 2004. TextRank et LexRank construisent un graphe dont les nœuds représentent les phrases et les arêtes leurs similarités, puis sélectionnent les phrases les plus centrales, c’est-à-dire celles qui ressemblent le plus au reste du document. Les plongements de phrases permettent de calculer la centralité en quelques lignes :

from sentence_transformers import SentenceTransformer

sentences = [
    "The James Webb Space Telescope launched on 25 December 2021 on an Ariane 5 rocket from French Guiana.",
    "Webb observes the universe in infrared light, which passes through the dust that hides young stars.",
    "Its 6.5-meter primary mirror is built from 18 gold-coated hexagonal segments.",
    "A five-layer sunshield the size of a tennis court keeps the mirror and instruments cold.",
    "The telescope orbits the Sun about 1.5 million kilometers from Earth, near the second Lagrange point.",
    "NASA published the first full-color science images from Webb in July 2022.",
]
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# Attribuer un score à chaque phrase selon sa similarité moyenne avec toutes les autres phrases (sa centralité)
embeddings = model.encode(sentences)
centrality = model.similarity(embeddings, embeddings).mean(dim=1)

# Conserver les deux phrases les plus centrales, dans leur ordre d’origine
top = sorted(centrality.argsort(descending=True)[:2].tolist())
print(" ".join(sentences[i] for i in top))

Le résumé conserve la phrase sur le lancement et celle sur l’orbite. Chaque mot d’un résumé extractif provient de la source ; le résumé ne peut donc rien affirmer que le document ne dit pas, et il conserve tout ce que contiennent les phrases choisies, y compris des détails dont le lecteur n’a peut-être pas besoin et des pronoms comme le « Son » qui ouvre la phrase sur le miroir et renvoie à une phrase omise.

Résumé abstractif#

Les modèles abstractifs sont des modèles séquence-à-séquence : un encodeur lit le document et un décodeur rédige le résumé un jeton à la fois. En 2015, Alexander Rush et ses collègues en ont entraîné un doté d’un mécanisme d’attention pour rédiger des titres d’actualité. En 2017, le réseau générateur avec pointeur d’Abigail See et ses collègues a permis au décodeur de copier directement dans la source des mots comme les noms et les nombres, et l’a pénalisé lorsqu’il se répétait. Les Transformers préentraînés ont ensuite fortement amélioré la qualité : BART, de Facebook (2019), a appris en reconstruisant du texte corrompu, et PEGASUS, de Google (2020), en régénérant des phrases entières retirées d’un document, une tâche de préentraînement auto-supervisé proche du résumé lui-même.

Les LLM résument à partir d’une consigne et peuvent suivre des demandes de longueur, de public cible et de format. Un document plus long que la fenêtre de contexte est découpé en blocs, chaque bloc est résumé, puis les résumés partiels sont fusionnés en une deuxième passe, selon une méthode appelée map-reduce. Le résumé s’étend aussi au-delà du texte : les modèles de compréhension vidéo décrivent les événements d’un extrait et la légende d’image condense une image en une phrase. Dans Ultralytics Platform Agents, un bloc LLM peut condenser une image et les détections YOLO26 produites en amont en un court résumé écrit. Un bloc Slack connecté publie ce résumé dans un canal à l’aide de son espace réservé {output}.

Jeux de données et évaluation#

La plupart des modèles apprennent à partir de données d’entraînement constituées de paires d’articles et de résumés : CNN/Daily Mail associe des articles d’actualité à leurs points clés sous forme de puces, et XSum (2018) associe des articles de la BBC à des résumés d’une seule phrase qui reprennent rarement des phrases entières, ce qui favorise l’abstraction. ROUGE, introduit par Chin-Yew Lin en 2004, évalue un résumé en fonction des mots et séquences de mots qu’il partage avec des résumés de référence rédigés par des humains ; ROUGE-1 compte les mots seuls, ROUGE-2 les paires de mots et ROUGE-L la plus longue sous-séquence commune. Les scores de recouvrement ne détectent pas les erreurs factuelles, et Joshua Maynez et ses collègues ont constaté en 2020 que les annotateurs humains relevaient des quantités importantes de contenu halluciné dans les résumés de tous les modèles abstractifs qu’ils avaient étudiés sur XSum. Ils ont également constaté que les mesures d’implication textuelle, qui vérifient si la source implique le résumé, évaluent mieux la fidélité que ROUGE et les autres métriques standard.

Résumé et notions apparentées#

• Génération de texte : produit n’importe quel texte à partir d’une invite. Le résumé est une génération de texte limitée au contenu d’un document source.
• Traduction automatique : utilise la même architecture encodeur-décodeur pour transposer tout le contenu d’un texte dans une autre langue.
• Analyse des sentiments : classe l’opinion exprimée dans un texte ; le résumé d’opinions combine les deux tâches en condensant de nombreux avis en leurs principales appréciations et critiques.
• Génération augmentée par récupération (RAG) : récupère les passages pertinents pour une question et en génère une réponse ; il s’agit donc d’une forme de résumé de plusieurs documents axé sur une requête.