Machine Translation

Dịch máy (MT) là quá trình tự động dịch văn bản hoặc lời nói từ ngôn ngữ này sang ngôn ngữ khác. Đây là một trong những nhiệm vụ lâu đời nhất trong xử lý ngôn ngữ tự nhiên (NLP) và cũng là một trong những ứng dụng phổ biến nhất: Google Translate, DeepL và Microsoft Translator dịch trang web, tài liệu, tin nhắn trò chuyện, danh sách sản phẩm và hội thoại bằng giọng nói ở quy mô mà không đội ngũ dịch giả nào có thể sánh kịp. Các hệ thống ngày nay sử dụng mạng nơ-ron, còn mô hình ngôn ngữ lớn (LLM) có thể dịch như một trong những năng lực tổng quát của chúng.

Từ hệ thống dựa trên luật đến thống kê rồi đến mạng nơ-ron#

Thí nghiệm Georgetown-IBM năm 1954 đã dịch hơn sáu mươi câu tiếng Nga sang tiếng Anh với vốn từ 250 từ và sáu quy tắc ngữ pháp; ban tổ chức dự đoán MT sẽ được giải quyết trong vài năm. Năm 1966, báo cáo ALPAC nhận định dịch máy chậm và kém chính xác hơn dịch thuật do con người thực hiện, khiến nguồn tài trợ của Hoa Kỳ cho nghiên cứu MT bị cắt giảm mạnh. Các hệ thống dựa trên luật như SYSTRAN, thành lập năm 1968, mã hóa thủ công từ điển và quy tắc ngữ pháp cho từng cặp ngôn ngữ.

Thay vì vậy, MT thống kê học cách dịch từ dữ liệu. Năm 1993, các nhà nghiên cứu IBM do Peter Brown dẫn đầu công bố các mô hình căn chỉnh từ, học cách các từ tiếng Pháp tương ứng với các từ tiếng Anh từ kho ngữ liệu song ngữ của Quốc hội Canada; MT dựa trên cụm từ (2003) dịch các cụm nhiều từ, phương pháp được Google Translate sử dụng khi ra mắt năm 2006. MT nơ-ron thay thế quy trình thống kê bằng một mạng duy nhất được huấn luyện đầu-cuối: mô hình chuỗi-sang-chuỗi của Ilya Sutskever và cộng sự (2014) sử dụng mạng bộ nhớ ngắn hạn dài (LSTM) để mã hóa một câu thành một vector rồi giải mã câu đó bằng ngôn ngữ khác; Dzmitry Bahdanau, Kyunghyun Cho và Yoshua Bengio bổ sung cơ chế attention, cho phép bộ giải mã nhìn lại từng từ trong câu nguồn. Trong một đánh giá đối chiếu trực tiếp do con người thực hiện năm 2016 trên các câu đơn giản, hệ thống nơ-ron của Google giảm trung bình 60% lỗi dịch so với hệ thống sản xuất dựa trên cụm từ; transformer, được giới thiệu vào năm sau cho tác vụ dịch, đạt 28.4 BLEU trên bộ benchmark WMT 2014 từ tiếng Anh sang tiếng Đức và 41.8 từ tiếng Anh sang tiếng Pháp.

Cách dịch máy nơ-ron hoạt động#

Văn bản nguồn được chia thành các token con từ bằng những phương pháp token hóa như mã hóa cặp byte, nhờ đó các từ hiếm và tên riêng được tách thành những phần đã biết. Bộ mã hóa chuyển toàn bộ câu nguồn thành các vector theo ngữ cảnh, còn bộ giải mã tạo bản dịch từng token một, đồng thời attention đến cả các token đã tạo và các vector của bộ mã hóa thông qua cross-attention:

Vì bộ mã hóa đọc toàn bộ câu trước khi bộ giải mã tạo nội dung, bản dịch của mỗi từ phụ thuộc vào ngữ cảnh:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

# T5 is an encoder-decoder transformer; a text prefix selects the translation task
tokenizer = AutoTokenizer.from_pretrained("google-t5/t5-small")
model = AutoModelForSeq2SeqLM.from_pretrained("google-t5/t5-small")

sentences = ["She went to the bank to open an account.", "They had a picnic on the bank of the river."]
inputs = tokenizer([f"translate English to German: {s}" for s in sentences], return_tensors="pt", padding=True)

# The decoder writes each German sentence one token at a time with beam search
outputs = model.generate(**inputs, num_beams=4, max_new_tokens=40)
for source, translation in zip(sentences, tokenizer.batch_decode(outputs, skip_special_tokens=True)):
    print(f"{source} -> {translation}")

T5-small 60 triệu tham số của Google, được huấn luyện với dịch Anh-Đức là một trong các tác vụ, dịch từ "bank" thành "Bank" (tổ chức tài chính) trong câu "Sie ging an die Bank, um ein Konto zu eröffnen." và thành "Ufer" (bờ sông) trong câu "Sie hatten ein Picknick am Ufer des Flusses." Mô hình cũng chuyển "eröffnen" (mở) xuống cuối mệnh đề, theo đúng trật tự từ trong tiếng Đức.

Đánh giá bản dịch#

BLEU, do Kishore Papineni và cộng sự tại IBM giới thiệu năm 2002, chấm điểm bản dịch dựa trên các chuỗi từ trùng khớp với một hoặc nhiều bản dịch tham chiếu do con người thực hiện, đồng thời phạt đầu ra quá ngắn. Chỉ số này có chi phí thấp và dễ tái lập, nhưng cho điểm thấp đối với những bản dịch chính xác diễn đạt khác với bản tham chiếu. Các metric được học như COMET (2020) chấm điểm bản dịch bằng mạng nơ-ron được huấn luyện trên đánh giá chất lượng của con người; tác vụ chung về metric WMT năm 2022, mang tên "Stop Using BLEU", cho thấy các metric nơ-ron khớp với đánh giá của chuyên gia gần hơn BLEU.

Các hệ thống hiện nay và thách thức#

NLLB-200 của Meta (2022) dịch giữa 200 ngôn ngữ, trong đó có nhiều ngôn ngữ có ít văn bản số, đồng thời cải thiện BLEU 44% so với công nghệ tiên tiến trước đó trên benchmark Flores-200. Các ngôn ngữ ít tài nguyên thiếu dữ liệu huấn luyện song ngữ, vì vậy hệ thống tạo các cặp tổng hợp bằng dịch ngược, một phương pháp tăng cường dữ liệu dịch văn bản đơn ngữ ở ngôn ngữ đích sang ngôn ngữ nguồn. Hệ thống nơ-ron cũng có thể ảo giác ra đầu ra trôi chảy nhưng không liên quan đến nguồn, đặc biệt với đầu vào nhiễu hoặc ít tài nguyên. Giới tính là một nguồn thiên lệch đã được biết đến: đại từ trung tính về giới trong tiếng Thổ Nhĩ Kỳ có thể được dịch thành "he" cho bác sĩ và "she" cho y tá; điều này khiến Google Translate hiển thị cả bản dịch giống cái và giống đực cho một số truy vấn vào năm 2018. MT cũng kết hợp với các phương thức khác: ứng dụng camera trên điện thoại chạy nhận dạng ký tự quang học (OCR) trên biển báo và thực đơn trước khi dịch, còn dịch giọng nói kết nối chuyển lời nói thành văn bản, MT và chuyển văn bản thành lời nói, hoặc thực hiện cả ba trong một model. Giao diện LLM của Ultralytics chấp nhận đối số image cùng với prompt, nhờ đó một pipeline Python có thể gửi ảnh biển báo đến model thị giác-ngôn ngữ và yêu cầu dịch nội dung sang tiếng Anh chỉ bằng một lệnh gọi.

Dịch máy và các thuật ngữ liên quan#

• NLP: Lĩnh vực điện toán xử lý ngôn ngữ của con người, trong đó MT là một tác vụ.
• Dịch bằng LLM: Các model tổng quát như GPT và Gemini có thể dịch khi được nhắc và sử dụng toàn bộ tài liệu hoặc bảng thuật ngữ làm ngữ cảnh. Model MT chuyên dụng chỉ được huấn luyện cho tác vụ dịch; NLLB-200 cung cấp các phiên bản chưng cất có 600 triệu và 1.3 tỷ tham số, hỗ trợ toàn bộ 200 ngôn ngữ.
• Bản địa hóa: Điều chỉnh sản phẩm cho một thị trường, bao gồm ngày tháng, tiền tệ, hình ảnh và tham chiếu văn hóa. MT dịch văn bản, còn các nhóm bản địa hóa rà soát và điều chỉnh nội dung.