Text Summarization

Tóm tắt văn bản là tác vụ xử lý ngôn ngữ tự nhiên (NLP) nhằm cô đọng tài liệu thành văn bản ngắn hơn nhưng vẫn giữ lại thông tin quan trọng nhất. Hai phương pháp chính là tóm tắt trích xuất, chọn các câu quan trọng nhất từ nguồn, và tóm tắt trừu tượng, tạo câu mới theo cách con người thường viết. Bản tóm tắt có thể bao quát một hoặc nhiều tài liệu, đồng thời có thể mang tính tổng quát hoặc tập trung vào một câu hỏi, chẳng hạn "Hợp đồng nói gì về việc chấm dứt?" Các ứng dụng email, công cụ họp, ứng dụng tin tức, công cụ tìm kiếm và trợ lý model ngôn ngữ lớn (LLM) đều tạo bản tóm tắt.

Tóm tắt trích xuất#

Hans Peter Luhn của IBM xây dựng một trong những hệ thống tóm tắt tự động đầu tiên vào năm 1958: hệ thống chấm điểm từng câu dựa trên các từ có nghĩa xuất hiện thường xuyên, rồi chọn những câu điểm cao nhất làm bản tóm tắt. H. P. Edmundson bổ sung các từ gợi ý, từ trong tiêu đề và vị trí câu vào năm 1969; các phương pháp đồ thị xuất hiện sau đó vào năm 2004. TextRank và LexRank xây dựng đồ thị có các nút là câu và các cạnh biểu thị mức độ tương đồng, rồi chọn những câu có tính trung tâm cao nhất, tức là các câu giống với phần còn lại của tài liệu nhất. Embedding câu giúp triển khai phương pháp tính độ trung tâm chỉ với vài dòng:

from sentence_transformers import SentenceTransformer

sentences = [
    "The James Webb Space Telescope launched on 25 December 2021 on an Ariane 5 rocket from French Guiana.",
    "Webb observes the universe in infrared light, which passes through the dust that hides young stars.",
    "Its 6.5-meter primary mirror is built from 18 gold-coated hexagonal segments.",
    "A five-layer sunshield the size of a tennis court keeps the mirror and instruments cold.",
    "The telescope orbits the Sun about 1.5 million kilometers from Earth, near the second Lagrange point.",
    "NASA published the first full-color science images from Webb in July 2022.",
]
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

# Chấm điểm từng câu bằng độ tương đồng trung bình với mọi câu (tính độ trung tâm của câu đó)
embeddings = model.encode(sentences)
centrality = model.similarity(embeddings, embeddings).mean(dim=1)

# Giữ lại hai câu có độ trung tâm cao nhất, theo thứ tự ban đầu
top = sorted(centrality.argsort(descending=True)[:2].tolist())
print(" ".join(sentences[i] for i in top))

Bản tóm tắt giữ lại câu nói về vụ phóng và câu nói về quỹ đạo. Mọi từ trong bản tóm tắt trích xuất đều có trong nguồn, nên bản tóm tắt không thể nêu thông tin mà tài liệu không đề cập; đồng thời, bản tóm tắt giữ nguyên mọi nội dung trong các câu được chọn, kể cả chi tiết người đọc có thể không cần và đại từ như từ "Its" mở đầu câu nói về gương, vốn trỏ ngược về một câu đã bị lược bỏ.

Tóm tắt trừu tượng#

Model tóm tắt trừu tượng là model chuỗi-sang-chuỗi: encoder đọc tài liệu, còn decoder viết bản tóm tắt từng token một. Alexander Rush và cộng sự huấn luyện một model có cơ chế chú ý để viết tiêu đề tin tức vào năm 2015; mạng pointer-generator của Abigail See và cộng sự (2017) cho phép decoder sao chép trực tiếp các từ như tên và số từ nguồn, đồng thời phạt model khi lặp lại. Các Transformer tiền huấn luyện sau đó cải thiện đáng kể chất lượng: BART của Facebook (2019) học bằng cách khôi phục văn bản bị làm hỏng, còn PEGASUS của Google (2020) học bằng cách tái tạo toàn bộ câu bị xóa khỏi tài liệu, một tác vụ tiền huấn luyện tự giám sát gần với chính việc tóm tắt.

LLM tóm tắt nội dung dựa trên chỉ dẫn và có thể làm theo yêu cầu về độ dài, đối tượng đọc và định dạng. Tài liệu dài hơn cửa sổ ngữ cảnh được chia thành các đoạn; mỗi đoạn được tóm tắt, rồi các bản tóm tắt từng phần được hợp nhất trong lượt thứ hai theo mô hình map-reduce. Tóm tắt cũng vượt ra ngoài văn bản: model hiểu video mô tả sự kiện trong clip, còn tạo chú thích ảnh cô đọng ảnh thành một câu. Trong Ultralytics Platform Agents, khối LLM có thể cô đọng ảnh và các detection YOLO26 từ bước trước thành bản tóm tắt ngắn; khối Slack được kết nối sẽ đăng bản tóm tắt lên một channel thông qua placeholder {output}.

Tập dữ liệu và đánh giá#

Phần lớn model học từ dữ liệu huấn luyện gồm các cặp bài viết và bản tóm tắt: CNN/Daily Mail ghép tin tức với các ý chính dạng gạch đầu dòng, còn XSum (2018) ghép bài viết của BBC với bản tóm tắt một câu hiếm khi dùng lại nguyên câu, qua đó khuyến khích khả năng trừu tượng hóa. ROUGE, do Chin-Yew Lin giới thiệu năm 2004, chấm điểm bản tóm tắt dựa trên các từ và chuỗi từ trùng lặp với bản tóm tắt tham chiếu do con người viết; ROUGE-1 đếm từ đơn, ROUGE-2 đếm cặp từ và ROUGE-L tính dãy con chung dài nhất. Điểm trùng lặp không phát hiện được lỗi thực tế; năm 2020, Joshua Maynez và cộng sự phát hiện người gán nhãn đánh giá một lượng đáng kể nội dung ảo giác trong bản tóm tắt của mọi model trừu tượng mà họ nghiên cứu trên XSum. Họ cũng nhận thấy các thước đo kéo theo ngữ nghĩa, dùng để kiểm tra xem nguồn có hàm ý bản tóm tắt hay không, đánh giá độ trung thực tốt hơn ROUGE và các metric tiêu chuẩn khác.

Tóm tắt và các thuật ngữ liên quan#

• Tạo văn bản: Tạo bất kỳ văn bản nào từ prompt. Tóm tắt là hình thức tạo văn bản bị giới hạn trong nội dung của tài liệu nguồn.
• Dịch máy: Dùng cùng kiến trúc encoder-decoder để chuyển tải toàn bộ nội dung văn bản sang một ngôn ngữ khác.
• Phân tích cảm xúc: Phân loại ý kiến được thể hiện trong văn bản; tóm tắt ý kiến kết hợp hai tác vụ bằng cách cô đọng nhiều bài đánh giá thành những điểm khen ngợi và phàn nàn chính.
• Sinh tăng cường truy xuất (RAG): Truy xuất các đoạn liên quan đến câu hỏi và tạo câu trả lời dựa trên những đoạn đó, nên đây là một dạng tóm tắt tập trung vào truy vấn trên nhiều tài liệu.