返回 Ultralytics 词汇表
Small Language Models (SLMs)
了解小语言模型 (SLM) 如何在边缘设备上实现高效、私密且低成本的 AI。学习将 SLM 与 Ultralytics YOLO26 结合用于边缘 AI。
小型语言模型（SLMs）是经过精简的人工智能模型，旨在高效理解和生成人类语言。与体量更大的模型不同，SLMs 通常拥有几百万到大约 150 亿个parameters，这使得它们能够在edge devices上本地运行，而不需要庞大的cloud computing infrastructure。通过本地运行，这些模型可以提供更快的处理速度、更高的user privacy保护，并大幅降低部署成本。
区分关键术语#
为了更好地理解人工智能领域，区分 SLMs 与相关技术非常有帮助：
- SLMs 与 Large Language Models (LLMs)： 虽然 LLMs 包含数千亿个参数并需要大量的服务器资源，但 SLMs 经过了高度优化。这使其能够以极低的inference latency运行，非常适合不需要庞大规模的专用、特定领域应用。
- SLMs 与 Vision-Language Models (VLMs)： SLMs 主要专注于natural language processing任务。相比之下，VLMs 可以原生解释文本和图像。不过，许多开发者现在将 SLMs 与快速的视觉模型配对，以构建轻量级多模态系统。
实际应用#
小型语言模型正在通过将先进的智能直接带入消费电子产品和企业网络中，迅速改变各行各业。
- On-Device Virtual Assistants： 现代智能手机和IoT devices利用 SLMs 在本地处理语音指令。这确保了实时响应，并将敏感数据保留在硬件上。像Microsoft's Phi-3和Apple's OpenELM这样的一流模型正在开拓这场端侧革命。
- Domain-Specific Chatbots： 企业部署高度fine-tuned的 SLMs 来提供自动客户支持。通过将这些紧凑型模型与Retrieval Augmented Generation (RAG)相结合，公司可以安全地查询其内部数据库并解决问题，而无需依赖昂贵的第三方 API。
- Edge Computing in Manufacturing： 在smart manufacturing设施中，SLMs 通过快速总结复杂的设备手册来协助技术人员。当与实时的object detection模型配对时，这些系统可以直接在工厂车间分析视觉缺陷并立即生成纯文本的diagnostic reports。
在现代工作流中实施 SLMs#
2024 年和 2025 年的最新突破证明，高质量的训练数据可以带来足以媲美前几年庞大模型的性能。Google's Gemma和Meta's Llama 3 8B等创新展示了小型架构变得多么强大。
在构建全面的 AI 解决方案时，开发者通常使用Python将 SLM 的语言推理能力与Ultralytics Platform上的工具的视觉准确性结合起来。例如，端侧 SLM 可以处理语音指令以启动计算机视觉任务。以下简短的代码片段演示了如何加载像Ultralytics YOLO26这样的轻量级模型来进行对象跟踪，这是一个非常适合运行 SLM 的同一边缘硬件的操作：
from ultralytics import YOLO
# Load the highly efficient YOLO26 nano model, suitable for edge devices
model = YOLO("yolo26n.pt")
# Run real-time object tracking on a local video stream
results = model.track(source="video.mp4", show=True, tracker="botsort.yaml")通过优先考虑本地执行，工程师显著降低了带宽需求和运营成本。随着行业继续推进Edge AI技术，精简的计算机视觉与高效的小型语言模型的强大结合将推动下一代智能自主系统。
