Language Modeling

Mô hình hóa ngôn ngữ là tác vụ gán xác suất cho một chuỗi từ hoặc token. Theo quy tắc chuỗi xác suất, P(w1, w2, ..., wn) = P(w1) x P(w2 | w1) x ... x P(wn | w1, ..., wn-1), vì vậy model dự đoán mỗi token tiếp theo dựa trên các token trước đó sẽ xác định xác suất của mọi văn bản; lấy mẫu từ các dự đoán đó sẽ tạo văn bản mới. Mục tiêu dự đoán token tiếp theo này dùng để huấn luyện mọi model GPT và hầu hết model ngôn ngữ lớn (LLM); trong nhiều thập kỷ trước khi LLM xuất hiện, các model ngôn ngữ nhỏ hơn đã xếp hạng đầu ra ứng viên trong hệ thống nhận dạng giọng nói và dịch máy, và ngày nay vẫn gợi ý từ tiếp theo trên bàn phím điện thoại.

Cách model ngôn ngữ tạo văn bản#

Model đã huấn luyện đọc prompt, chấm điểm mọi token trong từ vựng rồi chuyển điểm thành xác suất token tiếp theo bằng softmax. Quy tắc giải mã sau đó chọn một token, model nối token đó vào văn bản rồi lặp lại quy trình cho đến khi phát ra token kết thúc hoặc đạt giới hạn độ dài; đó là cách tạo văn bản hoạt động:

Lấy mẫu với temperature hoặc lấy mẫu nucleus đánh đổi một phần khả năng xảy ra cao nhất để tăng tính đa dạng. Vì mỗi token phụ thuộc vào các token đã viết, câu trả lời được tạo từng token một. Giao diện LLM của Ultralytics chuyển tiếp stream=True đến nhà cung cấp, nhờ vậy một pipeline YOLO26 yêu cầu model mô tả cảnh đã phát hiện có thể in ra từng phần văn bản ngay khi chúng xuất hiện.

Từ n-gram đến model neural#

Trong bài báo năm 1948 về lý thuyết thông tin, Claude Shannon xây dựng các mô hình gần đúng của từ và chữ cái tiếng Anh dựa trên thống kê n-gram. Model n-gram ước tính P(từ tiếp theo | n-1 từ trước đó) bằng cách đếm tần suất xuất hiện của các chuỗi từ trong kho ngữ liệu; các hệ thống nhận dạng giọng nói của IBM trong thập niên 1970 và 1980 dựa vào chúng. Model bigram với n = 2 minh họa ý tưởng này chỉ trong vài dòng Python:

from collections import Counter

sentences = ["the cat sat on the mat .", "the dog sat on the rug .", "the cat saw the dog ."]
corpus = " ".join(sentences).split()

# Count word pairs to estimate P(next word | previous word)
pairs = Counter(zip(corpus, corpus[1:]))
firsts = Counter(corpus[:-1])

# The model's next-word distribution after "the"
print({nxt: round(n / firsts["the"], 2) for (prev, nxt), n in pairs.items() if prev == "the"})

# Chain rule: a sentence's probability is the product of its next-word probabilities
sentence = ["the", "dog", "sat", "on", "the", "mat"]
p = 1.0
for prev, nxt in zip(sentence, sentence[1:]):
    p *= pairs[(prev, nxt)] / firsts[prev]
print(f"P(dog sat on the mat | the) = {p:.4f}")

Sau từ "the", model dự đoán "cat" và "dog" với xác suất 0.33 mỗi từ, còn "mat" và "rug" có xác suất 0.17 mỗi từ. Sau "the", model gán xác suất 0.0278 cho "dog sat on the mat", dù câu này không xuất hiện trong kho ngữ liệu, vì mọi cặp từ trong câu đều có xuất hiện. Mọi cặp không có trong kho ngữ liệu đều nhận xác suất bằng không, vì vậy các model n-gram thực tế cần phương pháp làm trơn như Kneser-Ney; chúng vẫn không thể sử dụng ngữ cảnh vượt quá n-1 từ.

Model ngôn ngữ xác suất neural năm 2003 của Yoshua Bengio và các cộng sự thay việc đếm bằng embedding được học và một mạng neural, nhờ đó các từ tương tự có thể chia sẻ sức mạnh thống kê. Mạng neural hồi tiếp (RNN) và LSTM mở rộng ngữ cảnh có thể sử dụng; sau năm 2017, Transformer với self-attention trên toàn bộ cửa sổ ngữ cảnh trở thành kiến trúc tiêu chuẩn. Năm 2020, GPT-3 cho thấy một model ngôn ngữ có 175 tỷ tham số có thể học tác vụ mới từ các ví dụ trong prompt.

Mô hình hóa ngôn ngữ nhân quả và có mask#

Mô hình hóa ngôn ngữ nhân quả, hay tự hồi quy, dự đoán mỗi token từ các token bên trái và là mục tiêu của các model tạo sinh. Mô hình hóa ngôn ngữ có mask che một số token rồi dự đoán chúng dựa trên ngữ cảnh ở cả hai phía. BERT được huấn luyện theo cách này trên 15% token đầu vào; ngữ cảnh hai chiều giúp BERT hoạt động tốt trong các tác vụ hiểu như phân loại và nhận dạng thực thể có tên, nhưng không thể viết văn bản từ trái sang phải. Model ngôn ngữ khuếch tán mở rộng phương pháp che token thành bộ tạo sinh có thể điền nhiều vị trí song song qua nhiều bước.

Huấn luyện và đánh giá#

Huấn luyện là học tự giám sát: văn bản thô tự cung cấp nhãn, còn model tối thiểu hóa hàm mất mát entropy chéo giữa phân phối dự đoán và từng token tiếp theo thực tế. Lũy thừa của giá trị mất mát trung bình là độ phức tạp, metric nội tại tiêu chuẩn; quy luật mở rộng quy mô mô tả cách loss giảm khi model, dữ liệu và năng lực tính toán tăng lên. Model nền được tiền huấn luyện chỉ tiếp tục văn bản; tinh chỉnh chỉ dẫn và học tăng cường từ phản hồi của con người (RLHF) biến model thành trợ lý làm theo yêu cầu.

Mô hình hóa ngôn ngữ và các thuật ngữ liên quan#

• Model ngôn ngữ và LLM: Model ngôn ngữ là bất kỳ model nào được huấn luyện cho tác vụ này, từ bảng bigram đến Transformer. LLM là model ngôn ngữ có hàng tỷ tham số được huấn luyện trên hàng nghìn tỷ token.
• Xử lý ngôn ngữ tự nhiên (NLP): Toàn bộ lĩnh vực máy tính xử lý ngôn ngữ của con người, trong đó mô hình hóa ngôn ngữ là một tác vụ.
• Mô hình hóa tự hồi quy thị giác (VAR): Áp dụng phương pháp dự đoán bước tiếp theo tương tự cho hình ảnh, tạo bản đồ token từ độ phân giải thô đến mịn thay vì tạo từ.