Small Language Models (SLMs)

Um modelo de linguagem pequeno (SLM) é um modelo de linguagem compacto o bastante para funcionar em um telefone, laptop ou GPU modesta individual, ou para atender a um grande volume de solicitações a baixo custo. Não há um limite fixo: pesquisadores da NVIDIA definem um SLM como um modelo que cabe em um dispositivo de consumo comum e responde rápido o bastante para atender às solicitações de um usuário; em 2025, consideram SLMs a maioria dos modelos com menos de 10 bilhões de parâmetros. O Phi-3-mini da Microsoft, um modelo de 3.8 bilhões de parâmetros lançado em abril de 2024, obteve 69% no benchmark MMLU, resultado comparável ao do GPT-3.5, sendo pequeno o bastante para funcionar em um telefone. Outros SLMs amplamente usados incluem os modelos Gemma 3 do Google, de 270 milhões a 4 bilhões de parâmetros, o Llama 3.2 1B e 3B da Meta, os modelos Qwen3 menores da Alibaba e o modelo integrado ao dispositivo, com cerca de 3 bilhões de parâmetros, por trás do Apple Intelligence.

Como os SLMs são construídos#

Os SLMs usam a mesma arquitetura Transformer que os grandes modelos de linguagem (LLMs) e compensam o tamanho com escolhas de treinamento:

• Qualidade dos dados: A Microsoft treinou o Phi-3-mini com 3.3 trilhões de tokens de texto público da web fortemente filtrado e dados sintéticos, e atribui os resultados a esse conjunto de dados.
• Treinamento excessivo: As leis de escala recomendam cerca de 20 tokens por parâmetro para minimizar a computação de treinamento, enquanto os SLMs são treinados com centenas ou milhares de tokens por parâmetro, trocando computação de treinamento adicional por um modelo menor, com custo menor por consulta. A Meta treinou o Llama 3 8B com 15 trilhões de tokens.
• Destilação de conhecimento: O Google treinou os modelos Gemma 2 de 2B e 9B para corresponder às distribuições de próximos tokens de um modelo professor maior, em vez de usar apenas a previsão do próximo token.
• Quantização de modelos: Um modelo de 3.8 bilhões de parâmetros precisa de cerca de 7.6 GB para seus pesos de 16 bits e de cerca de 1.9 GB com pesos de 4 bits. A Apple comprime seu modelo integrado ao dispositivo para 2 bits por peso com treinamento ciente da quantização (QAT), e os arquivos GGUF empacotam modelos de 4 bits para laptops.

Onde os SLMs funcionam#

Os assistentes integrados aos dispositivos são o uso mais visível. O Foundation Models framework da Apple, anunciado em 2025, dá aos desenvolvedores de aplicativos acesso direto ao modelo integrado ao dispositivo que alimenta o Apple Intelligence; os chips de telefones executam esses modelos em suas unidades de processamento neural (NPUs) sem enviar texto a um servidor, o que ajuda na privacidade de dados. As empresas fazem ajuste fino de SLMs com LoRA para tarefas específicas, como classificação, extração e respostas de suporte, muitas vezes acrescentando geração aumentada por recuperação (RAG) para acessar o conhecimento da empresa; o Google criou o Gemma 3 270M para esse tipo de ajuste específico à tarefa, com 170 milhões de seus 270 milhões de parâmetros nas embeddings de um vocabulário de 256K tokens.

Os agentes de IA são o uso mais recente. O artigo da NVIDIA argumenta que a maioria das subtarefas de agentes é específica e repetitiva o bastante para um SLM, reservando um modelo maior para as demais — uma forma de roteamento de modelos:

A mesma divisão se aplica a pipelines de visão executados em hardware de IA de borda. A interface LLM da Ultralytics aceita um base_url para qualquer endpoint compatível com OpenAI, incluindo servidores locais como o Ollama; assim, um pipeline YOLO26 em um dispositivo de borda pode enviar um quadro ou suas deteções a um SLM na mesma máquina e receber um relatório em texto sem fazer uma chamada à nuvem.

SLMs e termos relacionados#

• Grande modelo de linguagem: O mesmo tipo de modelo, mas com dezenas a centenas de bilhões de parâmetros ou mais, conhecimento mais amplo e raciocínio em várias etapas mais avançado; geralmente é servido por GPUs de centros de dados.
• Modelo de linguagem visual (VLM): Adiciona um codificador de imagem a um modelo de linguagem. VLMs pequenos, como o FastVLM da Apple, aplicam técnicas de SLM à compreensão de imagens. O VLM Leaderboard inclui VLMs pequenos, como Gemma 4 E2B e Qwen3.5 2B, e mede a precisão com que detectam objetos em comparação com modelos muito maiores.
• TinyML: Aprendizado de máquina em microcontroladores com quilobytes a alguns megabytes de memória, onde nem mesmo um SLM de 270 milhões de parâmetros, com cerca de 270 MB em pesos de 8 bits, cabe.