Small Language Models (SLMs)

Un modelo de lenguaje pequeño (SLM) es un modelo de lenguaje lo bastante compacto para ejecutarse en un móvil, un portátil o una única GPU modesta, o para ofrecerse a gran escala con un coste bajo. No hay un límite fijo: los investigadores de NVIDIA definen un SLM como un modelo que cabe en un dispositivo de consumo habitual y responde con suficiente rapidez para atender las solicitudes de un usuario; en 2025, consideran que la mayoría de los modelos de menos de 10.000 millones de parámetros cumplen este criterio. Phi-3-mini de Microsoft, un modelo de 3.800 millones de parámetros publicado en abril de 2024, obtuvo un 69 % en la prueba de referencia MMLU, una puntuación comparable a la de GPT-3.5, aunque es lo bastante pequeño para ejecutarse en un móvil. Otros SLM muy utilizados son los modelos Gemma 3 de Google, de entre 270 millones y 4.000 millones de parámetros; Llama 3.2 1B y 3B de Meta; los modelos Qwen3 más pequeños de Alibaba; y el modelo integrado en el dispositivo de unos 3.000 millones de parámetros que utiliza Apple Intelligence.

Cómo se crean los SLM#

Los SLM utilizan la misma arquitectura transformer que los modelos de lenguaje grandes (LLM) y compensan su tamaño con decisiones de entrenamiento:

• Calidad de los datos: Microsoft entrenó Phi-3-mini con 3,3 billones de tokens de texto público de la web, filtrado exhaustivamente, y datos sintéticos, y atribuye sus resultados a ese conjunto de datos.
• Sobreentrenamiento: Las leyes de escalado establecen que se necesitan unos 20 tokens por parámetro para minimizar el cómputo de entrenamiento, mientras que los SLM se entrenan con cientos o miles, lo que permite intercambiar más cómputo durante el entrenamiento por un modelo más pequeño que cuesta menos por consulta. Meta entrenó Llama 3 8B con 15 billones de tokens.
• Destilación de conocimiento: Google entrenó los modelos Gemma 2 de 2B y 9B para que reprodujeran las distribuciones del siguiente token de un modelo docente más grande, en lugar de usar la predicción simple del siguiente token.
• Cuantización de modelos: Un modelo de 3.800 millones de parámetros necesita unos 7,6 GB para sus pesos de 16 bits y unos 1,9 GB con 4 bits. Apple comprime su modelo integrado en el dispositivo a 2 bits por peso mediante el entrenamiento con conciencia de cuantización (QAT), y los archivos GGUF empaquetan modelos de 4 bits para portátiles.

Dónde se ejecutan los SLM#

Los asistentes integrados en dispositivos son su uso más visible. El marco Foundation Models de Apple, anunciado en 2025, ofrece a los desarrolladores de aplicaciones acceso directo al modelo integrado en el dispositivo que impulsa Apple Intelligence, y los chips de los móviles ejecutan estos modelos en sus unidades de procesamiento neuronal (NPU), sin enviar el texto a un servidor, lo que favorece la privacidad de los datos. Las empresas ajustan los SLM con LoRA para tareas específicas, como clasificación, extracción y respuestas de soporte, a menudo añadiendo generación aumentada por recuperación (RAG) para incorporar los conocimientos de la empresa; Google creó Gemma 3 270M para este tipo de ajuste a tareas concretas, y 170 millones de sus 270 millones de parámetros están en las representaciones vectoriales de un vocabulario de 256.000 tokens.

Los agentes de IA son su aplicación más reciente. El artículo de NVIDIA sostiene que la mayoría de las subtareas de los agentes son lo bastante limitadas y repetitivas para asignarlas a un SLM, reservando un modelo más grande para las demás; esto es una forma de enrutamiento de modelos:

La misma división se aplica a los flujos de visión en hardware de IA en el edge. La interfaz LLM de Ultralytics acepta un base_url para cualquier endpoint compatible con OpenAI, incluidos servidores locales como Ollama, así que un flujo YOLO26 en un dispositivo edge puede enviar un fotograma o sus detecciones a un SLM en la misma máquina y obtener un informe de texto sin recurrir a la nube.

SLM y términos relacionados#

• Modelo de lenguaje grande: El mismo tipo de modelo, pero con decenas o cientos de miles de millones de parámetros o más, conocimientos más amplios y mayor capacidad de razonamiento en varios pasos; normalmente se ofrece desde GPU de centros de datos.
• Modelo de lenguaje y visión (VLM): Añade un codificador de imágenes a un modelo de lenguaje. Los VLM pequeños, como FastVLM de Apple, aplican técnicas de SLM a la comprensión de imágenes. La clasificación de VLM incluye VLM pequeños como Gemma 4 E2B y Qwen3.5 2B, y mide su precisión al detectar objetos frente a modelos mucho más grandes.
• TinyML: Aprendizaje automático en microcontroladores con una memoria de unos pocos kilobytes a unos pocos megabytes, donde ni siquiera cabe un SLM de 270 millones de parámetros, que ocupa unos 270 MB con pesos de 8 bits.