Text Generation

La generación de texto es la producción automática de lenguaje escrito por parte de un modelo, desde una respuesta de una línea hasta un informe completo o un programa. Hoy en día, se realiza principalmente con modelos de lenguaje grandes (LLM) que funcionan de forma autorregresiva: dado un prompt, el modelo calcula una probabilidad para cada token de su vocabulario, elige uno, lo añade y repite el proceso hasta que decide detenerse. Este mismo ciclo impulsa los asistentes conversacionales, la finalización de código, la traducción automática y el resumen de texto. Los primeros sistemas rellenaban plantillas o tomaban muestras de modelos de n-gramas y de redes neuronales recurrentes, y el transformer hizo prácticos los textos largos y coherentes, a partir de GPT-2 en 2019.

Cómo funciona la generación autorregresiva#

La tokenización convierte el prompt en identificadores de token, y el modelo los procesa todos en una pasada de prellenado paralela y almacena las claves y los valores de atención de cada token en una caché KV. En cada paso de decodificación, el modelo procesa solo el token más reciente, consulta la caché y genera logits —una puntuación sin procesar por cada elemento del vocabulario— que una softmax convierte en probabilidades. Una estrategia de decodificación elige el siguiente token, que se muestra al usuario y se añade a la secuencia. La generación se detiene al llegar a un token de fin de secuencia, una cadena de parada o un límite de tokens, por lo que la longitud de la salida se decide durante la generación:

El prellenado requiere muchos cálculos y la decodificación está limitada por el ancho de banda de memoria, así que los motores de servicio programan ambos procesos con cuidado, por ejemplo, mediante el prellenado por bloques. La transmisión en continuo permite a las aplicaciones mostrar el texto a medida que aparece: la interfaz LLM de Ultralytics pasa stream=True al SDK de OpenAI, de modo que una aplicación de YOLO26 puede imprimir, token a token, la descripción que genera el modelo de una escena detectada cada vez que llega un evento response.output_text.delta.

Estrategias de decodificación#

La estrategia de decodificación influye en el resultado tanto como el modelo. La decodificación voraz siempre elige el token más probable; es determinista, pero tiende a repetirse. La búsqueda por haces conserva las k secuencias parciales más probables y devuelve la mejor secuencia completa, por lo que resulta adecuada para tareas con una única respuesta correcta, como la traducción. El muestreo extrae tokens de la distribución, normalmente después de modificarla: la temperatura divide los logits antes de la softmax, el muestreo top-k conserva solo los k tokens más probables y el muestreo de núcleo (top-p), propuesto en The Curious Case of Neural Text Degeneration por Holtzman et al. en 2019, conserva el menor conjunto de tokens cuyas probabilidades suman p. Un vocabulario de cinco tokens en PyTorch muestra ambos efectos:

import torch

# Next-token logits over a five-word vocabulary after the prompt "I took the"
vocab = ["bus", "train", "car", "stairs", "banana"]
logits = torch.tensor([3.0, 2.4, 1.8, 0.6, -2.0])

# Temperature divides the logits: low values sharpen the distribution, high values flatten it
for temperature in [0.5, 1.0, 1.5]:
    probs = torch.softmax(logits / temperature, dim=-1)
    print(f"T={temperature}:", ", ".join(f"{w} {p:.2f}" for w, p in zip(vocab, probs)))

# Top-p (nucleus) sampling keeps the smallest set of tokens whose probabilities reach p
probs, order = torch.softmax(logits, dim=-1).sort(descending=True)
keep = probs.cumsum(dim=-1) - probs < 0.9
print("Top-p 0.9 keeps:", [vocab[i] for i in order[keep]])

# Sample from the renormalized nucleus
torch.manual_seed(0)
picks = torch.multinomial(probs[keep] / probs[keep].sum(), num_samples=10, replacement=True)
print("Samples:", [vocab[order[i]] for i in picks])

Con una temperatura de 0,5, «bus» obtiene una probabilidad de 0,71; con 1,5, baja a 0,42 y «banana» sube de 0,00 a 0,02. El top-p de 0,9 conserva «bus», «train» y «car», que suman una probabilidad de 0,95, así que nunca se pueden muestrear «stairs» ni «banana», y diez extracciones producen una combinación variada de los tres tokens restantes. Otros controles actúan sobre los mismos logits: las penalizaciones por repetición reducen las puntuaciones de los tokens ya utilizados, y la decodificación restringida enmascara todos los tokens que incumplirían una gramática o un esquema JSON, lo que permite a las API garantizar salidas estructuradas. La decodificación especulativa acelera la generación al permitir que un modelo borrador pequeño proponga varios tokens que el modelo grande verifica en una sola pasada.

Generación de texto y términos relacionados#

• Modelado del lenguaje: Aprender la probabilidad del siguiente token, el objetivo de entrenamiento que hace posible la generación. La generación es el uso de ese modelo durante la inferencia.
• Modelos de secuencia a secuencia: Modelos de codificador-decodificador que generan un texto de salida a partir de una entrada independiente, como en la traducción. Los LLM de solo decodificador realizan las mismas tareas continuando un prompt.
• Modelos de difusión para lenguaje: Generan un pasaje completo refinando todas las posiciones en paralelo mediante varios pasos de eliminación de ruido, en lugar de generar un token cada vez.
• Texto a imagen: Recibe texto como entrada y genera píxeles.

Calidad y riesgos#

El texto generado es fluido aunque no sea correcto, por lo que las alucinaciones son el principal riesgo en tareas basadas en hechos. La generación aumentada por recuperación (RAG) las reduce incorporando documentos de origen al prompt. Las temperaturas bajas hacen que las respuestas sean más repetibles, mientras que las altas aportan variedad, pero también aumentan la probabilidad de elegir un token improbable e incorrecto. Además, es difícil detectar el texto escrito por máquinas, lo que impulsa la investigación sobre las marcas de agua de IA. En el artículo de 2020 sobre GPT-3, las personas a las que se pidió distinguir entre artículos periodísticos de 200 palabras escritos por el modelo de 175 000 millones de parámetros y artículos escritos por personas acertaron solo el 52 % de las veces.