Small Language Models (SLMs)
Малые языковые модели (SLM) достаточно компактны, чтобы работать на телефонах и ноутбуках и обслуживать запросы с низкими затратами; обычно в них менее 10 миллиардов параметров.
Малая языковая модель (SLM) достаточно компактна, чтобы запускаться на телефоне, ноутбуке или одном не слишком мощном GPU, либо обслуживать большое количество запросов с низкими затратами. Фиксированного порога нет: исследователи NVIDIA определяют SLM как модель, которая помещается на обычном потребительском устройстве и отвечает достаточно быстро, чтобы обслуживать запросы одного пользователя. По состоянию на 2025 год к ним относят большинство моделей с менее чем 10 миллиардами параметров. Модель Phi-3-mini от Microsoft с 3.8 миллиарда параметров, выпущенная в апреле 2024 года, набрала 69% на бенчмарке MMLU — сопоставимо с GPT-3.5 — и при этом достаточно мала для запуска на телефоне. К другим широко используемым SLM относятся модели Gemma 3 от Google с числом параметров от 270 миллионов до 4 миллиардов, Llama 3.2 1B и 3B от Meta, младшие модели Qwen3 от Alibaba и работающая непосредственно на устройстве модель Apple Intelligence примерно с 3 миллиардами параметров.
Как создают SLM#
SLM используют ту же архитектуру трансформера, что и большие языковые модели (LLM), а недостаток размера компенсируют выбором методов обучения:
- Качество данных: Microsoft обучила Phi-3-mini на 3.3 триллиона токенов общедоступных веб-текстов, тщательно отфильтрованных, а также на синтетических данных; компания связывает полученные результаты с качеством этой выборки.
- Переобучение: Согласно законам масштабирования, для минимизации вычислительных затрат на обучение нужно примерно 20 токенов на параметр, тогда как SLM обучаются на сотнях или тысячах токенов на параметр. Дополнительные затраты на обучение позволяют получить меньшую модель с более дешёвой обработкой каждого запроса. Meta обучила Llama 3 8B на 15 триллионах токенов.
- Дистилляция знаний: Google обучила модели Gemma 2 с 2B и 9B параметров воспроизводить распределения следующего токена более крупной модели-учителя вместо обычного предсказания следующего токена.
- Квантование модели: Для хранения весов модели с 3.8 миллиарда параметров требуется около 7.6 ГБ при разрядности 16 бит и около 1.9 ГБ при 4 битах. Apple сжимает свою модель для работы на устройстве до 2 бит на вес с помощью квантования с учётом обучения (QAT), а в файлах GGUF упакованы 4-битные модели для ноутбуков.
Где работают SLM#
Самое заметное применение — помощники, работающие непосредственно на устройстве. Представленный в 2025 году фреймворк Foundation Models от Apple предоставляет разработчикам приложений прямой доступ к модели на устройстве, которая обеспечивает работу Apple Intelligence. Чипы телефонов запускают такие модели на своих нейропроцессорах (NPU), не отправляя текст на сервер, что помогает обеспечить конфиденциальность данных. Компании дообучают SLM с помощью LoRA для узких задач — например, классификации, извлечения данных и ответов службы поддержки. Для работы с внутренними знаниями компании часто добавляют генерацию с дополненной выборкой (RAG). Google создала Gemma 3 270M для такой настройки под конкретные задачи; 170 миллионов из 270 миллионов её параметров приходятся на эмбеддинги словаря из 256 тысяч токенов.
Новейшее применение — ИИ-агенты. Согласно статье NVIDIA, большинство подзадач агентов достаточно узкие и однотипные, чтобы с ними справлялась SLM, а для остальных задач можно использовать более крупную модель. Это разновидность маршрутизации моделей:
Такое же разделение применяется в конвейерах компьютерного зрения на оборудовании периферийного ИИ. Интерфейс LLM Ultralytics принимает base_url для любой совместимой с OpenAI конечной точки, включая локальные серверы, например Ollama. Поэтому конвейер YOLO26 на периферийном устройстве может передать кадр или результаты обнаружения SLM на том же устройстве и получить текстовый отчёт без обращения к облаку.
SLM и связанные понятия#
- Большая языковая модель: Модель того же типа с десятками или сотнями миллиардов параметров и более, обладающая более широкими знаниями и способностью лучше справляться с многоэтапными рассуждениями. Обычно такие модели обслуживаются на GPU в центрах обработки данных.
- Визуально-языковая модель (VLM): добавляет энкодер изображений к языковой модели. Небольшие VLM, например FastVLM от Apple, применяют методы SLM для понимания изображений. Таблица лидеров VLM включает небольшие VLM, такие как Gemma 4 E2B и Qwen3.5 2B, и сравнивает точность обнаружения объектов с намного более крупными моделями.
- TinyML: Машинное обучение на микроконтроллерах с памятью от нескольких килобайт до нескольких мегабайт, где не поместится даже SLM с 270 миллионами параметров, которой при 8-битных весах требуется около 270 МБ.
