Small Language Models (SLMs)

Un modello linguistico piccolo (SLM) è un modello linguistico abbastanza compatto da funzionare su un telefono, un laptop o una singola GPU di fascia media, oppure da servire un volume elevato di richieste a basso costo. Non esiste una soglia fissa: i ricercatori di NVIDIA definiscono SLM un modello che funziona su un comune dispositivo di consumo e risponde abbastanza rapidamente da gestire le richieste di un utente; nel 2025 considerano tali la maggior parte dei modelli con meno di 10 miliardi di parametri. Il Phi-3-mini di Microsoft, un modello da 3.8 miliardi di parametri pubblicato nell'aprile 2024, ha ottenuto il 69% sul benchmark MMLU, un risultato paragonabile a GPT-3.5, pur essendo abbastanza piccolo da funzionare su un telefono. Tra gli altri SLM ampiamente utilizzati figurano i modelli Gemma 3 di Google, da 270 milioni a 4 miliardi di parametri, Llama 3.2 1B e 3B di Meta, i modelli Qwen3 più piccoli di Alibaba e il modello per dispositivi con circa 3 miliardi di parametri alla base di Apple Intelligence.

Come vengono realizzati gli SLM#

Gli SLM usano la stessa architettura transformer dei modelli linguistici di grandi dimensioni (LLM) e compensano le dimensioni ridotte con scelte di addestramento mirate:

• Qualità dei dati: Microsoft ha addestrato Phi-3-mini su 3.3 trilioni di token di testo pubblico dal web, filtrato intensamente, e di dati sintetici, attribuendo a quel dataset i risultati ottenuti.
• Sovra-addestramento: le leggi di scala indicano circa 20 token per parametro per ridurre al minimo il calcolo richiesto dall'addestramento; gli SLM vengono invece addestrati su centinaia o migliaia di token per parametro, scambiando un maggiore costo di addestramento con un modello più piccolo e meno costoso per ogni richiesta. Meta ha addestrato Llama 3 8B su 15 trilioni di token.
• Distillazione della conoscenza: Google ha addestrato i modelli Gemma 2 da 2B e 9B a riprodurre le distribuzioni del token successivo di un modello docente più grande, anziché limitarsi alla predizione del token successivo.
• Quantizzazione dei modelli: un modello da 3.8 miliardi di parametri richiede circa 7.6 GB per i pesi a 16 bit e circa 1.9 GB a 4 bit. Apple comprime il suo modello per dispositivi a 2 bit per peso con l'addestramento consapevole della quantizzazione (QAT), mentre i file GGUF consentono di distribuire modelli a 4 bit sui laptop.

Dove vengono eseguiti gli SLM#

Gli assistenti eseguiti direttamente sui dispositivi sono l'applicazione più visibile. Il framework Foundation Models di Apple, annunciato nel 2025, offre agli sviluppatori di app accesso diretto al modello sul dispositivo che alimenta Apple Intelligence. I chip dei telefoni eseguono questi modelli sulle proprie unità di elaborazione neurale (NPU) senza inviare il testo a un server, contribuendo così alla privacy dei dati. Le aziende eseguono il fine-tuning degli SLM con LoRA per attività specifiche come classificazione, estrazione e risposte di assistenza, spesso aggiungendo la generazione aumentata dal recupero (RAG) per integrare le conoscenze aziendali. Google ha realizzato Gemma 3 270M proprio per questo tipo di ottimizzazione specifica, con 170 milioni dei suoi 270 milioni di parametri dedicati agli embedding di un vocabolario da 256K token.

Gli agenti IA sono l'applicazione più recente. L'articolo di NVIDIA sostiene che la maggior parte delle sottoattività degli agenti è abbastanza circoscritta e ripetitiva da poter essere svolta da uno SLM, riservando un modello più grande al resto: una forma di instradamento dei modelli:

La stessa suddivisione si applica alle pipeline di visione sull'hardware di IA edge. L'interfaccia LLM di Ultralytics accetta un base_url per qualsiasi endpoint compatibile con OpenAI, inclusi i server locali come Ollama; così, una pipeline YOLO26 su un dispositivo edge può inviare un fotogramma o i relativi rilevamenti a uno SLM sulla stessa macchina e ricevere un resoconto testuale senza ricorrere al cloud.

SLM e termini correlati#

• Modello linguistico di grandi dimensioni: modello dello stesso tipo con decine o centinaia di miliardi di parametri o più, conoscenze più ampie e maggiori capacità di ragionamento articolato in più passaggi; di solito viene servito da GPU nei data center.
• Modello visione-linguaggio (VLM): Aggiunge un encoder di immagini a un modello linguistico. I VLM piccoli, come FastVLM di Apple, applicano le tecniche degli SLM alla comprensione delle immagini. La classifica VLM include VLM piccoli come Gemma 4 E2B e Qwen3.5 2B e misura la precisione con cui rilevano gli oggetti, insieme a modelli molto più grandi.
• TinyML: apprendimento automatico su microcontrollori con una memoria da pochi kilobyte a qualche megabyte, insufficiente persino per uno SLM da 270 milioni di parametri, che richiede circa 270 MB con pesi a 8 bit.