Small Language Models (SLMs)

Model ngôn ngữ nhỏ (SLM) là model ngôn ngữ đủ gọn để chạy trên điện thoại, laptop hoặc một GPU cấu hình vừa phải, hoặc được phục vụ với lưu lượng lớn với chi phí thấp. Không có ngưỡng cố định: các nhà nghiên cứu NVIDIA định nghĩa SLM là model chạy được trên thiết bị phổ thông của người tiêu dùng và phản hồi đủ nhanh để phục vụ yêu cầu của một người dùng; tính đến năm 2025, họ xếp hầu hết model dưới 10 tỷ tham số vào nhóm này. Phi-3-mini của Microsoft là model 3.8 tỷ tham số ra mắt tháng 4 năm 2024, đạt 69% trên benchmark MMLU, tương đương GPT-3.5, nhưng đủ nhỏ để chạy trên điện thoại. Các SLM được sử dụng rộng rãi khác gồm model Gemma 3 của Google với 270 triệu đến 4 tỷ tham số, Llama 3.2 1B và 3B của Meta, các model Qwen3 nhỏ hơn của Alibaba, và model chạy trên thiết bị có khoảng 3 tỷ tham số đứng sau Apple Intelligence.

Cách xây dựng SLM#

SLM sử dụng cùng kiến trúc Transformer như mô hình ngôn ngữ lớn (LLM) và bù đắp kích thước nhỏ bằng các lựa chọn huấn luyện:

• Chất lượng dữ liệu: Microsoft huấn luyện Phi-3-mini trên 3.3 nghìn tỷ token văn bản web công khai được lọc kỹ và dữ liệu tổng hợp, đồng thời cho rằng dataset này góp phần tạo nên kết quả của model.
• Huấn luyện quá mức: Quy luật mở rộng đề xuất khoảng 20 token cho mỗi tham số để giảm thiểu chi phí tính toán huấn luyện, trong khi SLM được huấn luyện trên hàng trăm hoặc hàng nghìn token cho mỗi tham số, đánh đổi thêm chi phí huấn luyện để có model nhỏ hơn, tốn ít chi phí hơn cho mỗi truy vấn. Meta huấn luyện Llama 3 8B trên 15 nghìn tỷ token.
• Chưng cất tri thức: Google huấn luyện các model Gemma 2 2B và 9B để khớp phân phối token tiếp theo của model teacher lớn hơn, thay vì chỉ dự đoán token tiếp theo thông thường.
• Lượng tử hóa model: Model 3.8 tỷ tham số cần khoảng 7.6 GB để lưu trọng số ở độ chính xác 16 bit và khoảng 1.9 GB ở 4 bit. Apple nén model chạy trên thiết bị xuống còn 2 bit mỗi trọng số bằng huấn luyện nhận biết lượng tử hóa (QAT), còn các tệp GGUF đóng gói model 4 bit cho laptop.

SLM chạy ở đâu#

Trợ lý chạy trên thiết bị là ứng dụng dễ thấy nhất. Foundation Models framework của Apple, được công bố năm 2025, cho phép nhà phát triển ứng dụng truy cập trực tiếp model trên thiết bị hỗ trợ Apple Intelligence; chip điện thoại chạy các model này trên bộ xử lý thần kinh (NPU) mà không gửi văn bản đến máy chủ, giúp bảo vệ quyền riêng tư dữ liệu. Các công ty fine-tune SLM bằng LoRA cho những tác vụ chuyên biệt như phân loại, trích xuất và trả lời hỗ trợ, thường bổ sung tạo sinh tăng cường truy xuất (RAG) để khai thác kiến thức nội bộ; Google xây dựng Gemma 3 270M cho kiểu tinh chỉnh theo tác vụ này, trong đó 170 triệu trên tổng số 270 triệu tham số nằm trong embedding của bộ từ vựng 256K token.

Tác tử AI là ứng dụng mới nhất. Bài báo của NVIDIA lập luận rằng hầu hết tác vụ phụ của tác tử đủ chuyên biệt và lặp lại để dùng SLM, dành model lớn hơn cho các tác vụ còn lại; đây là một dạng định tuyến model:

Cách phân chia tương tự cũng áp dụng cho pipeline thị giác trên phần cứng AI biên. Giao diện LLM của Ultralytics chấp nhận base_url cho mọi endpoint tương thích OpenAI, bao gồm máy chủ cục bộ như Ollama, nên pipeline YOLO26 trên thiết bị biên có thể gửi một khung hình hoặc kết quả phát hiện đến SLM trên cùng máy và nhận báo cáo văn bản mà không cần gọi dịch vụ đám mây.

SLM và các thuật ngữ liên quan#

• Mô hình ngôn ngữ lớn: Cùng loại model nhưng có hàng chục đến hàng trăm tỷ tham số trở lên, kiến thức rộng hơn và khả năng suy luận nhiều bước mạnh hơn; thường được phục vụ trên GPU trong trung tâm dữ liệu.
• Mô hình thị giác-ngôn ngữ (VLM): Bổ sung encoder ảnh vào mô hình ngôn ngữ. Các VLM nhỏ, chẳng hạn FastVLM của Apple, áp dụng kỹ thuật SLM vào việc hiểu ảnh. Bảng xếp hạng VLM bao gồm các VLM nhỏ như Gemma 4 E2B và Qwen3.5 2B, đo lường độ chính xác khi chúng phát hiện đối tượng bên cạnh các model lớn hơn nhiều.
• TinyML: Máy học trên vi điều khiển có bộ nhớ từ vài kilobyte đến vài megabyte; ngay cả SLM 270 triệu tham số, chiếm khoảng 270 MB với trọng số 8 bit, cũng không thể chạy được.