Natural Language Processing (NLP)

Xử lý ngôn ngữ tự nhiên (NLP) là nhánh của trí tuệ nhân tạo (AI) giúp máy tính phân tích, hiểu và tạo ngôn ngữ của con người dưới dạng văn bản và lời nói. Các tác vụ của NLP trải rộng từ tìm tên trong câu đến dịch sách hoặc trò chuyện, đồng thời kết hợp ngôn ngữ học tính toán với học máy và học sâu. Tìm kiếm trên web, bộ lọc thư rác, trợ lý giọng nói, gợi ý trên bàn phím điện thoại và chatbot dựa trên mô hình ngôn ngữ lớn (LLM) đều vận hành bằng NLP.

Từ hệ thống dựa trên quy tắc đến mô hình ngôn ngữ lớn#

Thí nghiệm Georgetown-IBM năm 1954 dịch hơn sáu mươi câu tiếng Nga sang tiếng Anh với vốn từ 250 từ và sáu quy tắc ngữ pháp; ELIZA (1966) của Joseph Weizenbaum bắt chước một nhà trị liệu tâm lý bằng cách đối chiếu từ khóa với câu trả lời soạn sẵn. Các quy tắc viết thủ công không xử lý được sự nhập nhằng và đa dạng của văn bản thực tế, vì vậy từ cuối thập niên 1980, NLP thống kê chuyển sang học xác suất từ văn bản đã gán nhãn: mô hình Markov ẩn gán nhãn từ loại, còn dịch máy thống kê học từ hàng triệu cặp câu đã dịch.

Mạng nơ-ron chiếm ưu thế trong thập niên 2010. Word2vec (2013) học các embedding đưa những từ có liên quan đến gần nhau, còn mạng nơ-ron hồi tiếp (RNN) đọc từng từ một trong câu. Transformer (2017) thay cơ chế hồi tiếp bằng self-attention, cho phép mỗi từ liên hệ song song với mọi từ khác. Các transformer được tiền huấn luyện như BERT và GPT học ngôn ngữ từ văn bản chưa gán nhãn, sau đó chỉ cần dataset gán nhãn nhỏ cho từng tác vụ; kể từ khi ChatGPT ra mắt vào tháng 11 năm 2022, LLM có thể xử lý nhiều tác vụ NLP chỉ từ một chỉ dẫn bằng văn bản.

Cách hệ thống NLP biểu diễn văn bản#

Hệ thống NLP hiện đại trước tiên chia văn bản thành token—các từ hoàn chỉnh hoặc mảnh từ con được tạo ra bằng tokenization—rồi ánh xạ mỗi token thành một vector embedding. Mạng nơ-ron, thường là transformer, chuyển chuỗi đó thành các vector theo ngữ cảnh, trong đó vector của mỗi token phản ánh các token lân cận; đầu ra chuyên biệt theo tác vụ sẽ đọc các vector này: một nhãn cho toàn bộ văn bản, một thẻ cho mỗi token, vị trí bắt đầu và kết thúc của đoạn trả lời hoặc các token mới được tạo. Vì ý nghĩa được mã hóa trong các vector, những câu dùng từ khác nhau vẫn có thể nằm gần nhau, như bộ mã hóa câu all-MiniLM-L6-v2 minh họa:

from sentence_transformers import SentenceTransformer

# A small sentence encoder maps each text to a 384-dimensional vector
model = SentenceTransformer("sentence-transformers/all-MiniLM-L6-v2")

query = "How do I reset my password?"
candidates = ["I forgot my login credentials", "How do I reset my router?"]

# Encode all texts, then compare the query with each candidate by cosine similarity
embeddings = model.encode([query, *candidates])
scores = model.similarity(embeddings[0], embeddings[1:])[0]

for text, score in zip(candidates, scores):
    print(f"{score:.2f}  {text}")

Câu diễn đạt lại "I forgot my login credentials" đạt điểm 0.68 khi so với câu hỏi, trong khi "How do I reset my router?"—lặp lại năm trong sáu từ của câu hỏi—chỉ đạt 0.53. Tìm kiếm ngữ nghĩa và bước truy xuất trong tạo sinh tăng cường truy xuất (RAG) xếp hạng tài liệu bằng cùng phép so sánh này.

Các tác vụ NLP phổ biến#

• Phân tích cảm xúc: Phân loại ý kiến trong bài đánh giá, bài đăng hoặc câu trả lời khảo sát thành tích cực, tiêu cực hoặc trung tính.
• Nhận dạng thực thể có tên (NER): Gắn thẻ từng lần nhắc đến một người, tổ chức, địa điểm hoặc ngày tháng.
• Hỏi đáp: Trả lời câu hỏi thay vì đưa ra danh sách tài liệu.
• Tóm tắt văn bản: Rút gọn tài liệu thành văn bản ngắn hơn nhưng vẫn giữ các ý chính.
• Tạo văn bản: Viết văn bản mới từng token một; đây là tác vụ nền tảng của chatbot và trợ lý lập trình.

NLP trong thị giác máy tính#

Ngôn ngữ cũng là cách con người cho model thị giác máy tính biết cần tìm gì; kết hợp NLP với thị giác đã tạo ra các model có thể đọc và viết về hình ảnh. Mô hình thị giác-ngôn ngữ (VLM) trả lời câu hỏi về ảnh và viết chú thích ảnh; CLIP học không gian embedding chung cho hình ảnh và văn bản từ 400 triệu cặp ảnh-chú thích. Bộ phát hiện có từ vựng mở nhận danh sách lớp dưới dạng văn bản: gọi set_classes(["double-decker bus", "person"]) trên model Ultralytics YOLOE-26 sẽ token hóa từng tên bằng bộ token hóa CLIP và mã hóa tên đó bằng bộ mã hóa văn bản MobileCLIP2 của Apple; bộ phát hiện đối chiếu các embedding văn bản này với vùng ảnh để tìm và phân đoạn các lớp chưa từng xuất hiện trong quá trình huấn luyện.

NLP và các thuật ngữ liên quan#

• Hiểu ngôn ngữ tự nhiên (NLU): Phần NLP tập trung vào ý nghĩa, chẳng hạn ý định của người dùng hoặc đối tượng mà đại từ quy chiếu đến. Tạo ngôn ngữ tự nhiên (NLG), tức tạo văn bản, là phần chính còn lại.
• Mô hình ngôn ngữ lớn: Các model ngôn ngữ dựa trên Transformer với hàng tỷ tham số, có thể thực hiện nhiều tác vụ NLP thông qua prompt nhưng có chi phí mỗi yêu cầu cao hơn model nhỏ được huấn luyện cho một tác vụ.
• Nhận dạng giọng nói: Chuyển âm thanh lời nói thành văn bản để các model NLP diễn giải.
• Nhận dạng ký tự quang học (OCR): Chuyển hình ảnh văn bản in hoặc viết tay thành ký tự; đây là bước đầu tiên trước khi NLP có thể đọc tài liệu được quét.