Large Language Model (LLM)

Un gran modelo de lenguaje (LLM) es una red neuronal, casi siempre un Transformer, con miles de millones de parámetros, entrenada con billones de tokens de texto para predecir el siguiente token de una secuencia. Ese único objetivo, aplicado a gran escala, produce modelos que responden preguntas, resumen documentos, traducen, escriben código y utilizan herramientas de software. GPT, de OpenAI; Claude, de Anthropic; y Gemini, de Google son familias de LLM que se ofrecen mediante API, mientras que Llama, de Meta; Qwen, de Alibaba; DeepSeek; Mistral; y gpt-oss, de OpenAI, publican pesos abiertos. La arquitectura Transformer surgió del artículo de 2017 Attention Is All You Need; GPT-3 demostró en 2020 que un modelo con 175.000 millones de parámetros podía aprender tareas a partir de ejemplos incluidos en la instrucción, y ChatGPT acercó los LLM al gran público en noviembre de 2022.

Cómo funcionan los LLM#

Un LLM primero ejecuta la tokenización para convertir el texto en identificadores de tokens y busca un vector de incrustación para cada uno. Los vectores pasan por una pila de bloques idénticos, cada uno de los cuales combina la autoatención causal, que permite que cada token obtenga información de los tokens anteriores, con una capa de propagación hacia delante que transforma cada token por separado. El último bloque produce una probabilidad softmax para cada token del vocabulario; el modelo elige uno, lo añade y repite el proceso, que es como funciona la generación de texto:

El tamaño se mide en parámetros, y muchos modelos recientes son dispersos. En una mezcla de expertos (MoE), un enrutador envía cada token a unos pocos de los muchos expertos de propagación hacia delante, por lo que DeepSeek-V3 tiene 671 000 millones de parámetros, pero utiliza 37 000 millones por token. La cantidad de texto que un modelo puede leer de una vez, su ventana de contexto, ha pasado de los 2.048 tokens de GPT-3 a un millón de tokens o más en varios modelos actuales; para procesar esas entradas largas, se necesita una caché KV que almacene las claves y los valores de atención de cada token anterior.

Cómo se entrenan los LLM#

El preentrenamiento es aprendizaje autosupervisado: el modelo predice cada token siguiente de páginas web, libros y código, sin etiquetas humanas. Las leyes de escalado predicen cómo disminuye la pérdida al aumentar los parámetros, los datos y el cómputo, y el estudio Chinchilla de DeepMind concluyó que el entrenamiento óptimo en cuanto a cómputo utiliza unos 20 tokens por parámetro. Actualmente, los modelos se entrenan muy por encima de esa proporción; Meta preentrenó Llama 3 con unos 15 billones de tokens. El posentrenamiento convierte el modelo base resultante en un asistente. El ajuste de instrucciones le enseña a seguir solicitudes, y el aprendizaje por refuerzo a partir de comentarios humanos (RLHF) o la optimización directa de preferencias alinea sus respuestas con las preferencias humanas; los resultados de InstructGPT de OpenAI mostraron que los etiquetadores preferían un modelo ajustado de 1.300 millones de parámetros frente a GPT-3, de 175.000 millones. Los modelos de razonamiento, como o1 de OpenAI y DeepSeek-R1, añaden aprendizaje por refuerzo a gran escala; en el caso de DeepSeek-R1, se trata de aprendizaje por refuerzo con recompensas verificables en problemas de matemáticas y programación con respuestas comprobables, lo que les enseña a desarrollar cadenas de razonamiento largas antes de responder. Después, los equipos adaptan un modelo a su propio dominio mediante ajuste fino, a menudo con LoRA, o dejan los pesos intactos y proporcionan conocimiento mediante la generación aumentada por recuperación (RAG).

Aplicaciones#

Los LLM impulsan chatbots y asistentes, herramientas de programación agéntica que editan y prueban repositorios enteros, sistemas de búsqueda y respuesta a preguntas sobre documentos, y agentes de IA que planifican tareas de varios pasos mediante llamadas a funciones. Añadir un codificador de imágenes convierte un LLM en un modelo de lenguaje y visión (VLM) que responde preguntas sobre fotos, gráficos y fotogramas de vídeo. Las principales familias de LLM también leen imágenes, y la clasificación de VLM de Ultralytics compara la precisión con la que modelos como GPT-6.1 Sol, Claude Opus 5.5 y Gemini 4 Argon detectan objetos en conjuntos de datos del mundo real. La interfaz LLM de Ultralytics envía texto o imágenes a modelos compatibles con OpenAI de OpenAI, DeepSeek, Kimi, Z.AI, OpenRouter o un servidor local, así que una canalización YOLO26 puede llamar a un LLM solo cuando haya que explicar una detección, por ejemplo, describiendo una escena cuando aparece una persona.

LLM y términos relacionados#

• Procesamiento del lenguaje natural (NLP): El campo de la informática que trabaja con el lenguaje humano. Hoy en día, los LLM son su tipo de modelo predominante.
• IA generativa: Cualquier modelo que cree contenido nuevo, incluidos generadores de imágenes, audio y vídeo.
• Modelo fundacional: La categoría más amplia, cuyo nombre acuñaron investigadores de Stanford en 2021, de modelos grandes preentrenados con datos diversos y adaptados a muchas tareas. Incluye modelos fundacionales de visión además de LLM.
• Modelo de lenguaje pequeño (SLM): Un modelo de lenguaje lo bastante compacto para teléfonos, portátiles o servicios de bajo coste, normalmente con unos pocos miles de millones de parámetros o menos.

Limitaciones#

Los LLM generan texto fluido tanto si es cierto como si no, por lo que las alucinaciones siguen siendo el principal riesgo en las tareas factuales; además, el modelo no sabe nada de lo ocurrido después de la fecha de corte de su entrenamiento, a menos que se lo proporcionen herramientas o sistemas de recuperación. Los datos de entrenamiento transmiten sus sesgos al modelo, y las instrucciones ocultas en páginas web o documentos pueden secuestrar un agente mediante inyección de instrucciones. La precisión también disminuye cuando los contextos son muy largos; este efecto se denomina deterioro del contexto. Ejecutar LLM también requiere mucha memoria: un modelo de 70.000 millones de parámetros necesita unos 140 GB para sus pesos a 16 bits y unos 35 GB a 4 bits, por lo que los formatos de cuantización de modelos, como GGUF, permiten ejecutar estos modelos en una sola estación de trabajo.