GPT (Generative Pre-trained Transformer)

GPT (transformador generativo preentrenado) es un modelo de lenguaje Transformer solo con decodificador, que primero se preentrena con grandes cantidades de texto sin etiquetar para predecir el siguiente token y después se adapta a distintas tareas. OpenAI presentó el enfoque en junio de 2018 con el artículo de Alec Radford y sus colegas Improving Language Understanding by Generative Pre-Training, y el nombre resume el método: un modelo generativo de texto, preentrenado antes de cualquier entrenamiento específico para una tarea y basado en el Transformer. La serie GPT pasó de 117 millones de parámetros en GPT-1 a 175 000 millones en GPT-3, y ChatGPT, lanzado el 30 de noviembre de 2022, convirtió esta familia de modelos de lenguaje de gran tamaño (LLM) en la más conocida. «Al estilo GPT» también describe cualquier LLM solo con decodificador entrenado del mismo modo, incluidos Llama de Meta y los modelos Qwen de Alibaba.

Cómo funciona un modelo GPT#

Primero se divide el texto en tokens; GPT-2 introdujo la tokenización a nivel de byte con un vocabulario de 50 257 tokens, que GPT-3 conservó. Cada token se convierte en un embedding más una señal de posición, y una pila de bloques de decodificador idénticos refina esos vectores. En cada bloque, la autoatención enmascarada permite que cada posición lea únicamente su propio contenido y las posiciones anteriores, y una capa de propagación hacia delante transforma cada posición por separado:

Gracias a la máscara causal, una sola pasada hacia delante por una secuencia de entrenamiento de 1024 tokens produce 1024 predicciones del siguiente token a la vez, lo que permite paralelizar el preentrenamiento aunque la generación sea secuencial. Durante la inferencia, el modelo puntúa el siguiente token, lo añade y repite el proceso, reutilizando los cálculos anteriores mediante una caché KV. GPT-2 de OpenAI, con 124 millones de parámetros, muestra el primer paso:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2 asigna una probabilidad de 0,085 a « the» y de solo 0,032 a « Paris», y la decodificación voraz escribe «La capital de Francia es la capital de la República Francesa, y». Un GPT preentrenado continúa el texto tal como lo harían sus datos de entrenamiento, y el ajuste a instrucciones, seguido del aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF), lo convierte en un asistente que responde a la pregunta.

De GPT-1 a GPT-6#

GPT-1 preentrenó un decodificador de 12 capas con más de 7000 libros inéditos y después lo ajustó para cada tarea, con lo que mejoró el estado del arte en 9 de las 12 tareas estudiadas. GPT-2, anunciado en febrero de 2019, aumentó su escala hasta 1500 millones de parámetros entrenados con 40 GB de texto web y realizó tareas sin ejemplos; OpenAI publicó sus pesos por etapas hasta noviembre de 2019 por temor a un uso indebido. GPT-3, en mayo de 2020, demostró el aprendizaje con pocos ejemplos a partir de ejemplos incluidos en el prompt, un resultado que las leyes de escalado habían anticipado.

InstructGPT y, después, ChatGPT incorporaron el entrenamiento con comentarios humanos, y GPT-4 aceptó imágenes como entrada en marzo de 2023. Los modelos de razonamiento de la serie o de OpenAI, empezando por o1 en septiembre de 2024, aprendieron a escribir largas cadenas de razonamiento antes de responder. GPT-5, publicado el 7 de agosto de 2025, puso un modelo rápido y otro de razonamiento detrás de un enrutador. Dos días antes, OpenAI había publicado gpt-oss-120b y gpt-oss-20b con licencia Apache 2.0, sus primeros modelos de lenguaje de pesos abiertos desde GPT-2. La familia GPT-6 llegó en septiembre de 2026: GPT-6 Astra el 3 de septiembre, GPT-6 Sol y GPT-6 Luna el 22 de septiembre, y GPT-6.1 Sol el 29 de septiembre.

GPT en visión artificial#

La misma receta de predicción del siguiente token se aplica a las imágenes. Image GPT de OpenAI entrenó en 2020 modelos del tamaño de GPT-2 para predecir los píxeles de uno en uno, el modelado autorregresivo visual (VAR) predice imágenes escala por escala, y muchos modelos de lenguaje y visión (VLM) conectan un codificador de imágenes a un decodificador de estilo GPT que redacta la respuesta. Los codificadores de texto también toman prestado este diseño: CLIP de OpenAI codifica texto con un Transformer de 12 capas y 63 millones de parámetros que utiliza la arquitectura de GPT-2 y la autoatención enmascarada. YOLO-World de Tencent AI Lab, que se ejecuta en el paquete de Ultralytics, llama a ese codificador de texto CLIP cuando se invoca set_classes(["person", "bus"]). Así, cada nombre de clase se convierte en una incrustación que el detector compara con las regiones de la imagen y la lista de clases puede cambiar sin volver a entrenar. Los propios modelos GPT de OpenAI también leen imágenes, y la clasificación de VLM mide la precisión con la que GPT-6.1 Sol y otros modelos de lenguaje y visión detectan objetos en conjuntos de datos del mundo real.

GPT frente a términos relacionados#

BERT utiliza el codificador Transformer sin máscara causal, por lo que cada token ve toda la entrada; es adecuado para la clasificación y la recuperación, pero no genera texto. Un LLM es cualquier modelo de lenguaje de gran tamaño, y GPT designa tanto la serie de modelos de OpenAI como el diseño solo con decodificador que comparten la mayoría de los LLM. Un chatbot como ChatGPT es una aplicación basada en modelos GPT, con un prompt de sistema, el historial de conversación y herramientas alrededor del modelo.