Small Language Models (SLMs)

小型语言模型（SLM）是一种足够小巧的语言模型，可以在手机、笔记本电脑或单台性能一般的 GPU 上运行，也可以以较低成本处理大量请求。目前没有固定的参数量界限：NVIDIA 研究人员将 SLM 定义为能够在常见消费设备上运行，且响应速度足以服务单个用户请求的模型；截至 2025 年，他们将大多数参数量低于 100 亿的模型都归为此类。微软于 2024 年 4 月发布的 Phi-3-mini有 38 亿参数，在 MMLU 基准上的得分为 69%，与 GPT-3.5 相当，同时体积小到可以在手机上运行。其他广泛使用的 SLM 包括 Google 的 Gemma 3 系列（参数量从 2.7 亿到 40 亿）、Meta 的 Llama 3.2 1B 和 3B、阿里巴巴较小的 Qwen3 模型，以及 Apple Intelligence 背后约 30 亿参数的设备端模型。

SLM 的构建方式#

SLM 使用与大型语言模型（LLM）相同的 transformer架构，并通过训练策略弥补规模较小的不足：

• 数据质量：微软使用 3.3 万亿个经过严格筛选的公开网页文本令牌和合成数据训练 Phi-3-mini，并将其表现归功于该数据集。
• 过度训练：缩放定律指出，为了最大限度降低训练计算量，每个参数约需 20 个令牌；而 SLM 的训练数据量可达数百或数千个令牌/参数，以额外训练计算量换取更小的模型，从而降低每次查询的成本。Meta 使用 15 万亿个令牌训练了 Llama 3 8B。
• 知识蒸馏：Google 训练 Gemma 2 的 2B 和 9B 模型，使其匹配更大教师模型的下一令牌分布，而不是仅执行简单的下一令牌预测。
• 模型量化：一个 38 亿参数的模型，权重采用 16 位时需要约 7.6 GB，采用 4 位时则需要约 1.9 GB。Apple 使用量化感知训练（QAT）将其设备端模型压缩至每个权重 2 位，而 GGUF文件则用于封装适用于笔记本电脑的 4 位模型。

SLM 的运行环境#

设备端助手是最常见的应用。Apple 于 2025 年发布的 Foundation Models 框架让应用开发者可以直接使用为 Apple Intelligence 提供支持的设备端模型；手机芯片会在其神经处理单元（NPU）上运行此类模型，无需将文本发送到服务器，这有助于保护数据隐私。企业会使用 LoRA对 SLM 进行微调，以处理分类、信息提取和客服回复等专门任务；企业知识通常通过检索增强生成（RAG）补充。Google 专门为这类特定任务调优打造了 Gemma 3 270M，其 2.7 亿个参数中有 1.7 亿个用于 256K 令牌词汇表的嵌入。

AI 智能体是最新的应用方向。NVIDIA 的论文指出，大多数智能体子任务范围狭窄且重复性高，适合由 SLM 处理，其余任务则交给更大的模型；这是一种模型路由形式：

同样的分工也适用于边缘 AI硬件上的视觉流水线。Ultralytics LLM 接口接受适用于任何兼容 OpenAI 的端点的 base_url，包括 Ollama 等本地服务器；因此，边缘设备上的 YOLO26流水线可以将一帧图像或其检测结果发送给同一台机器上的 SLM，并获取文本报告，而无需调用云服务。

SLM 与相关术语#

• 大型语言模型：同类模型，但参数量达到数百亿到数千亿甚至更多，知识面更广、多步推理能力更强，通常由数据中心的 GPU 提供服务。
• 视觉语言模型 (VLM)：为语言模型添加图像编码器。小型 VLM（例如 Apple 的 FastVLM）将 SLM 技术应用于图像理解。VLM Leaderboard包含 Gemma 4 E2B 和 Qwen3.5 2B 等小型 VLM，用于衡量它们检测对象的准确度，并与大得多的模型进行比较。
• TinyML：在内存只有几 KB 到数 MB 的微控制器上运行机器学习；即使是 2.7 亿参数的 SLM，采用 8 位权重时约为 270 MB，也无法运行。