Small Language Models (SLMs)

Un petit modèle de langage (SLM) est un modèle de langage assez compact pour fonctionner sur un téléphone, un ordinateur portable ou un seul GPU de puissance modeste, ou pour traiter un grand volume de requêtes à faible coût. Il n'existe pas de seuil fixe : des chercheurs de NVIDIA définissent un SLM comme un modèle qui tient sur un appareil grand public courant et répond assez vite pour traiter les demandes d'un utilisateur ; en 2025, ils considèrent que la plupart des modèles de moins de 10 milliards de paramètres en font partie. Le modèle Phi-3-mini de Microsoft, doté de 3.8 milliards de paramètres et publié en avril 2024, a obtenu 69 % au test de référence MMLU, un résultat comparable à GPT-3.5, tout en étant assez petit pour fonctionner sur un téléphone. Parmi les autres SLM très utilisés figurent les modèles Gemma 3 de Google, de 270 millions à 4 milliards de paramètres, Llama 3.2 1B et 3B de Meta, les petits modèles Qwen3 d'Alibaba, et le modèle embarqué d'environ 3 milliards de paramètres qui alimente Apple Intelligence.

Comment sont conçus les SLM#

Les SLM utilisent la même architecture Transformer que les grands modèles de langage (LLM) et compensent leur taille par des choix d'entraînement :

• Qualité des données : Microsoft a entraîné Phi-3-mini sur 3.3 billions de jetons de texte Web public fortement filtré et de données synthétiques, et attribue ses résultats à ce jeu de données.
• Surentraînement : Les lois d'échelle préconisent environ 20 jetons par paramètre pour minimiser le coût de calcul de l'entraînement, tandis que les SLM sont entraînés sur des centaines ou des milliers de jetons par paramètre. On échange ainsi un surcoût d'entraînement contre un modèle plus petit, dont chaque requête coûte moins cher. Meta a entraîné Llama 3 8B sur 15 billions de jetons.
• Distillation de connaissances : Google a entraîné les modèles Gemma 2 de 2B et 9B à reproduire les distributions du jeton suivant d'un enseignant plus grand, au lieu de se limiter à la prédiction du jeton suivant.
• Quantification de modèle : Un modèle de 3.8 milliards de paramètres nécessite environ 7.6 Go pour ses poids en 16 bits et environ 1.9 Go en 4 bits. Apple compresse son modèle embarqué à 2 bits par poids avec l'entraînement sensible à la quantification (QAT), et les fichiers GGUF regroupent des modèles 4 bits destinés aux ordinateurs portables.

Où s'exécutent les SLM#

Les assistants embarqués sont leur application la plus visible. Le cadre Foundation Models d'Apple, annoncé en 2025, donne aux développeurs d'applications un accès direct au modèle embarqué qui alimente Apple Intelligence. Les puces des téléphones exécutent ces modèles sur leurs unités de traitement neuronal (NPU) sans envoyer de texte à un serveur, ce qui favorise la protection des données. Les entreprises affinent les SLM avec LoRA pour des tâches ciblées comme la classification, l'extraction et les réponses d'assistance, en ajoutant souvent la génération augmentée par récupération (RAG) pour exploiter les connaissances de l'entreprise. Google a conçu Gemma 3 270M pour ce type d'ajustement spécifique à une tâche ; 170 millions de ses 270 millions de paramètres se trouvent dans les plongements d'un vocabulaire de 256K jetons.

Les agents d'IA constituent la dernière application en date. Selon l'article de NVIDIA, la plupart des sous-tâches des agents sont assez ciblées et répétitives pour un SLM ; un modèle plus grand peut se charger du reste, selon un mécanisme de routage de modèles :

La même répartition s'applique aux chaînes de traitement de vision sur du matériel d'IA en périphérie. L'interface LLM d'Ultralytics accepte un base_url pour tout point de terminaison compatible avec OpenAI, y compris les serveurs locaux comme Ollama. Ainsi, une chaîne de traitement YOLO26 sur un appareil en périphérie peut envoyer une image ou ses détections à un SLM sur la même machine et recevoir un rapport textuel sans appel au cloud.

Les SLM et les notions connexes#

• Grand modèle de langage : Modèle du même type, comptant des dizaines ou des centaines de milliards de paramètres, voire davantage, doté de connaissances plus vastes et de meilleures capacités de raisonnement en plusieurs étapes ; il est généralement exécuté sur des GPU de centre de données.
• Modèle de langage et de vision (VLM) : ajoute un encodeur d’image à un modèle de langage. Les petits VLM, comme FastVLM d’Apple, appliquent les techniques des SLM à la compréhension des images. Le classement VLM comprend de petits VLM comme Gemma 4 E2B et Qwen3.5 2B, et mesure leur précision de détection d’objets aux côtés de modèles bien plus grands.
• TinyML : Apprentissage automatique sur des microcontrôleurs dotés de quelques kilo-octets à quelques mégaoctets de mémoire ; même un SLM de 270 millions de paramètres, qui occupe environ 270 Mo avec des poids 8 bits, ne peut pas y tenir.