GPT (Generative Pre-trained Transformer)

GPT (Transformer generativo pré-treinado) é um modelo de linguagem Transformer somente decodificador, que primeiro é pré-treinado com grandes quantidades de texto sem rótulos para prever o próximo token e depois é adaptado a tarefas específicas. A OpenAI apresentou essa abordagem em junho de 2018, no artigo de Alec Radford e colegas Improving Language Understanding by Generative Pre-Training, e o nome resume o método: um modelo generativo de texto, pré-treinado antes de qualquer treinamento específico para uma tarefa e baseado no Transformer. A série GPT cresceu de 117 milhões de parâmetros no GPT-1 para 175 bilhões no GPT-3, e o ChatGPT, lançado em 30 de novembro de 2022, tornou essa família a mais conhecida entre os grandes modelos de linguagem (LLMs). "No estilo GPT" também descreve qualquer LLM somente decodificador treinado da mesma forma, incluindo os modelos Llama, da Meta, e Qwen, da Alibaba.

Como funciona um modelo GPT#

Primeiro, o texto é dividido em tokens; o GPT-2 introduziu a tokenização em nível de byte, com um vocabulário de 50,257 tokens que o GPT-3 manteve. Cada token se torna um embedding mais um sinal de posição, e uma pilha de blocos decodificadores idênticos refina esses vetores. Em cada bloco, a autoatenção mascarada permite que cada posição leia apenas a si própria e as posições anteriores, enquanto uma camada feed-forward transforma cada posição individualmente:

Devido à máscara causal, uma única passagem direta sobre uma sequência de treinamento de 1,024 tokens gera 1,024 previsões do próximo token de uma vez, tornando o pré-treinamento paralelo, embora a geração seja sequencial. Na inferência, o modelo calcula a pontuação do próximo token, acrescenta esse token e repete o processo, reutilizando os cálculos anteriores por meio de um cache KV. O GPT-2 da OpenAI, com 124 milhões de parâmetros, demonstra a primeira etapa:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

O GPT-2 atribui " the" uma probabilidade de 0.085 e " Paris" apenas 0.032, e a decodificação gulosa gera "The capital of France is the capital of the French Republic, and". Um GPT pré-treinado continua o texto da forma como seus dados de treinamento fariam, e o ajuste por instruções, seguido pelo aprendizado por reforço com feedback humano (RLHF), transforma o modelo em um assistente que responde à pergunta.

Do GPT-1 ao GPT-6#

O GPT-1 pré-treinou um decodificador de 12 camadas com mais de 7,000 livros não publicados e depois foi ajustado para cada tarefa, superando o estado da arte em 9 das 12 tarefas estudadas. O GPT-2, anunciado em fevereiro de 2019, cresceu para 1.5 bilhão de parâmetros treinados com 40 GB de texto da Web e executava tarefas zero-shot; a OpenAI lançou seus pesos em etapas até novembro de 2019, devido a preocupações com o uso indevido. O GPT-3, lançado em maio de 2020, demonstrou aprendizado com poucas amostras a partir de exemplos incluídos no prompt, um resultado previsto pelas leis de escala.

O InstructGPT e, depois, o ChatGPT acrescentaram treinamento com feedback humano, e o GPT-4 passou a aceitar imagens como entrada em março de 2023. Os modelos de raciocínio da série o da OpenAI, começando com o o1 em setembro de 2024, aprenderam a escrever uma longa cadeia de pensamento antes de responder; o GPT-5, lançado em 7 de agosto de 2025, colocou um modelo rápido e um modelo de raciocínio atrás de um roteador. Dois dias antes, a OpenAI havia lançado o gpt-oss-120b e o gpt-oss-20b sob a licença Apache 2.0, seus primeiros modelos de linguagem com pesos abertos desde o GPT-2. A família GPT-6 chegou em setembro de 2026: GPT-6 Astra em 3 de setembro, GPT-6 Sol e GPT-6 Luna em 22 de setembro, e GPT-6.1 Sol em 29 de setembro.

GPT em visão computacional#

A mesma receita de previsão do próximo token também se aplica a imagens. O Image GPT da OpenAI treinou modelos na escala do GPT-2 para prever pixels um de cada vez em 2020; a modelagem autorregressiva visual (VAR) prevê imagens escala por escala, e muitos modelos de linguagem visual (VLMs) conectam um codificador de imagem a um decodificador no estilo GPT que redige a resposta. Codificadores de texto também adotam esse projeto: o CLIP da OpenAI codifica texto com um transformer de 12 camadas e 63 milhões de parâmetros, que usa a arquitetura do GPT-2 e atenção própria mascarada. O YOLO-World do Tencent AI Lab, executado no pacote Ultralytics, chama esse codificador de texto CLIP quando set_classes(["person", "bus"]) é chamado, transformando cada nome de classe em um embedding que o detector compara com regiões da imagem; assim, a lista de classes pode mudar sem novo treinamento. Os próprios modelos GPT da OpenAI também leem imagens, e o VLM Leaderboard mede a precisão com que o GPT-6.1 Sol e outros modelos de linguagem visual detectam objetos em conjuntos de dados do mundo real.

GPT vs. termos relacionados#

O BERT usa o codificador Transformer sem máscara causal, então cada token vê toda a entrada; ele é adequado para classificação e recuperação, mas não gera texto. Um LLM é qualquer grande modelo de linguagem, enquanto GPT denomina tanto a série de modelos da OpenAI quanto o design somente decodificador compartilhado pela maioria dos LLMs. Um chatbot, como o ChatGPT, é uma aplicação baseada em modelos GPT, que envolve o modelo com um prompt de sistema, o histórico da conversa e ferramentas.