Large Language Model (LLM)

Mô hình ngôn ngữ lớn (LLM) là một mạng neural, gần như luôn sử dụng kiến trúc transformer, với hàng tỷ parameter được huấn luyện trên hàng nghìn tỷ token văn bản để dự đoán token tiếp theo trong chuỗi. Mục tiêu đơn lẻ này, khi được áp dụng ở quy mô lớn, tạo ra các model có thể trả lời câu hỏi, tóm tắt tài liệu, dịch thuật, viết mã và gọi công cụ phần mềm. GPT của OpenAI, Claude của Anthropic và Gemini của Google là các dòng LLM được cung cấp qua API; Llama của Meta, Qwen của Alibaba, DeepSeek, Mistral và gpt-oss của OpenAI công bố open weight. Kiến trúc transformer xuất phát từ bài báo năm 2017 Attention Is All You Need; GPT-3 cho thấy vào năm 2020 rằng model 175 tỷ parameter có thể học tác vụ từ các ví dụ trong prompt; ChatGPT đưa LLM đến với đông đảo người dùng vào tháng 11 năm 2022.

Cách LLM hoạt động#

LLM trước tiên thực hiện tokenization để chuyển văn bản thành các ID token, rồi tra cứu vector embedding cho từng token. Các vector đi qua một stack gồm những block giống hệt nhau; mỗi block kết hợp self-attention nhân quả, cho phép mỗi token lấy thông tin từ các token đứng trước nó, với một layer feed-forward biến đổi riêng từng token. Block cuối cùng tạo xác suất softmax cho mọi token trong từ vựng; model chọn một token, nối token đó vào cuối chuỗi rồi lặp lại quy trình, đây là cách tạo văn bản hoạt động:

Kích thước được đo bằng số parameter, và nhiều model gần đây có cấu trúc thưa. Trong mixture of experts (MoE), router gửi mỗi token qua một vài trong số nhiều expert feed-forward; vì vậy DeepSeek-V3 có 671 tỷ parameter nhưng chỉ dùng 37 tỷ cho mỗi token. Lượng văn bản model có thể đọc cùng lúc, tức cửa sổ ngữ cảnh, đã tăng từ 2.048 token của GPT-3 lên một triệu token trở lên ở một số model hiện nay; việc phục vụ đầu vào dài như vậy phụ thuộc vào KV cache, nơi lưu key và value attention của mọi token trước đó.

Cách huấn luyện LLM#

Pretraining là học tự giám sát: model dự đoán token tiếp theo trên trang web, sách và mã mà không cần nhãn do con người tạo. Quy luật mở rộng quy mô dự đoán loss giảm thế nào khi tăng số parameter, dữ liệu và compute; nghiên cứu Chinchilla của DeepMind phát hiện huấn luyện tối ưu theo compute sử dụng khoảng 20 token cho mỗi parameter. Các model hiện được huấn luyện vượt xa tỷ lệ đó; Meta pretrain Llama 3 trên khoảng 15 nghìn tỷ token. Post-training biến base model thu được thành trợ lý. Tinh chỉnh theo chỉ dẫn dạy model làm theo yêu cầu; học tăng cường từ phản hồi của con người (RLHF) hoặc tối ưu hóa trực tiếp theo sở thích giúp câu trả lời phù hợp với sở thích của con người; kết quả InstructGPT của OpenAI cho thấy người gán nhãn thích model đã tinh chỉnh có 1,3 tỷ parameter hơn GPT-3 có 175 tỷ parameter. Model suy luận như o1 của OpenAI và DeepSeek-R1 bổ sung học tăng cường quy mô lớn; riêng DeepSeek-R1 dùng học tăng cường với phần thưởng có thể kiểm chứng trên các bài toán toán học và lập trình có đáp án kiểm tra được, qua đó huấn luyện model trình bày chuỗi suy luận dài trước khi trả lời. Sau đó, các nhóm điều chỉnh model cho lĩnh vực riêng bằng fine-tune, thường thông qua LoRA, hoặc giữ nguyên trọng số và cung cấp kiến thức bằng retrieval-augmented generation (RAG).

Ứng dụng#

LLM là nền tảng cho chatbot và trợ lý, các công cụ lập trình có tính tác nhân chỉnh sửa và kiểm thử toàn bộ repository, hệ thống tìm kiếm và hỏi đáp tài liệu, cùng các AI agent lập kế hoạch cho tác vụ nhiều bước thông qua gọi hàm. Bổ sung encoder ảnh sẽ biến LLM thành mô hình thị giác-ngôn ngữ (VLM) có thể trả lời câu hỏi về ảnh chụp, biểu đồ và frame video. Các họ LLM lớn cũng đọc được ảnh; Bảng xếp hạng VLM của Ultralytics so sánh độ chính xác khi các model như GPT-6.1 Sol, Claude Opus 5.5 và Gemini 4 Argon phát hiện đối tượng trong dataset thực tế. Giao diện LLM của Ultralytics gửi văn bản hoặc ảnh đến các model tương thích với OpenAI từ OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter hoặc máy chủ cục bộ, nhờ đó pipeline YOLO26 chỉ cần gọi LLM khi cần giải thích một detection, chẳng hạn mô tả cảnh khi có người xuất hiện.

LLM và các thuật ngữ liên quan#

• Xử lý ngôn ngữ tự nhiên (NLP): Lĩnh vực điện toán với ngôn ngữ của con người. Hiện nay, LLM là loại model chiếm ưu thế trong lĩnh vực này.
• AI tạo sinh: Bất kỳ model nào tạo ra nội dung mới, bao gồm các bộ tạo ảnh, âm thanh và video.
• Model nền tảng: Nhóm rộng hơn, được các nhà nghiên cứu Stanford đặt tên vào năm 2021, gồm các model lớn được pretrain trên dữ liệu đa dạng và điều chỉnh cho nhiều tác vụ. Nhóm này bao gồm cả model nền tảng thị giác và LLM.
• Mô hình ngôn ngữ nhỏ (SLM): Model ngôn ngữ đủ gọn để chạy trên điện thoại, laptop hoặc dịch vụ có chi phí thấp, thường có không quá vài tỷ parameter.

Hạn chế#

LLM tạo văn bản trôi chảy dù nội dung có đúng hay không, vì vậy ảo giác vẫn là rủi ro chính trong các tác vụ cần độ chính xác thực tế; model cũng không biết thông tin nào sau thời điểm chốt dữ liệu huấn luyện trừ khi có retrieval hoặc công cụ cung cấp. Dữ liệu huấn luyện truyền thiên kiến sang model, còn chỉ dẫn ẩn trong trang web hoặc tài liệu có thể chiếm quyền điều khiển agent thông qua prompt injection. Độ chính xác cũng giảm khi ngữ cảnh rất dài, hiện tượng gọi là suy thoái ngữ cảnh. Phục vụ LLM cũng tốn nhiều bộ nhớ: model 70 tỷ parameter cần khoảng 140 GB cho trọng số 16 bit và khoảng 35 GB ở 4 bit; vì vậy các định dạng lượng tử hóa model như GGUF cho phép chạy model như vậy trên một workstation.