GPT (Generative Pre-trained Transformer)

GPT (генеративный предварительно обученный Transformer) — языковая модель на основе Transformer языковая модель с архитектурой только декодера. Сначала её предварительно обучают на больших объёмах неразмеченного текста предсказывать следующий токен, а затем адаптируют к задачам. OpenAI представила этот подход в июне 2018 года в статье Алека Рэдфорда и его коллег Improving Language Understanding by Generative Pre-Training, а название описывает метод: генеративная модель текста, предварительно обученная до обучения для конкретной задачи и построенная на Transformer. Серия GPT выросла от 117 миллионов параметров в GPT-1 до 175 миллиардов в GPT-3, а ChatGPT, выпущенный 30 ноября 2022 года, сделал её наиболее известным семейством больших языковых моделей (LLM). Термин «в стиле GPT» также описывает любые LLM с архитектурой только декодера, обученные тем же способом, включая модели Llama от Meta и Qwen от Alibaba.

Как работает модель GPT#

Сначала текст разбивают на токены; в GPT-2 появилась токенизация на уровне байтов со словарём из 50 257 токенов, который сохранился в GPT-3. Каждый токен превращается в эмбеддинг и позиционный сигнал, а затем стек одинаковых блоков декодера уточняет эти векторы. В каждом блоке маскированный механизм самовнимания позволяет каждой позиции учитывать только саму себя и предыдущие позиции, а полносвязный слой независимо преобразует каждую позицию:

Благодаря причинной маске один прямой проход по обучающей последовательности из 1 024 токенов сразу даёт 1 024 предсказания следующего токена. Это позволяет распараллелить предварительное обучение, хотя генерация выполняется последовательно. При инференсе модель оценивает следующий токен, добавляет его и повторяет операцию, повторно используя результаты предыдущих вычислений через кэш KV. На первом шаге это можно увидеть на GPT-2 от OpenAI с 124 миллионами параметров:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")

# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
    logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
    print(f"{tokenizer.decode(i)!r}: {p:.3f}")

# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))

GPT-2 присваивает токену « the» вероятность 0.085, а токену « Paris» — лишь 0.032. При жадном декодировании получается строка «The capital of France is the capital of the French Republic, and». Предварительно обученная GPT продолжает текст так, как это сделали бы обучающие данные, а настройка на следование инструкциям и последующее обучение с подкреплением на основе обратной связи от людей (RLHF) превращают её в помощника, отвечающего на вопросы.

От GPT-1 до GPT-6#

Для GPT-1 предварительно обучили 12-слойный декодер на более чем 7 000 неопубликованных книг, а затем дообучили его для каждой задачи. Модель превзошла прежние лучшие результаты в 9 из 12 рассмотренных задач. GPT-2, представленная в феврале 2019 года, выросла до 1,5 миллиарда параметров и обучалась на 40 ГБ веб-текста. Она выполняла задачи без примеров; из опасений по поводу злоупотреблений OpenAI публиковала её веса постепенно, вплоть до ноября 2019 года. GPT-3 в мае 2020 года продемонстрировала обучение по небольшому числу примеров, помещённых в запрос; этот результат предсказали законы масштабирования.

InstructGPT, а затем ChatGPT добавили обучение с обратной связью от людей, а в марте 2023 года GPT-4 научилась принимать изображения на вход. Модели рассуждения серии o от OpenAI, начиная с o1 в сентябре 2024 года, научились перед ответом писать длинную цепочку рассуждений, а выпущенная 7 августа 2025 года GPT-5 объединила быструю модель и модель рассуждения за маршрутизатором. За два дня до этого OpenAI выпустила gpt-oss-120b и gpt-oss-20b по лицензии Apache 2.0 — первые языковые модели компании с открытыми весами после GPT-2. Семейство GPT-6 появилось в сентябре 2026 года: GPT-6 Astra — 3 сентября, GPT-6 Sol и GPT-6 Luna — 22 сентября, а GPT-6.1 Sol — 29 сентября.

GPT в компьютерном зрении#

Тот же принцип предсказания следующего токена применим к изображениям. Image GPT от OpenAI обучала модели масштаба GPT-2 предсказывать пиксели по одному в 2020 году, визуальное авторегрессионное моделирование (VAR) предсказывает изображения по масштабу, а многие визуально-языковые модели (VLM) добавляют энкодер изображений к декодеру в стиле GPT, который формирует ответ. Этот дизайн используют и текстовые энкодеры: CLIP от OpenAI кодирует текст с помощью 12-слойного Transformer на 63 миллиона параметров, использующего архитектуру GPT-2 и маскированное самовнимание. YOLO-World от Tencent AI Lab, работающая в пакете Ultralytics, обращается к этому текстовому энкодеру CLIP при вызове set_classes(["person", "bus"]), преобразуя название каждого класса в эмбеддинг, который детектор сопоставляет с областями изображения. Поэтому список классов можно менять без повторного обучения. Собственные модели GPT от OpenAI также читают изображения, а таблица лидеров VLM измеряет точность обнаружения объектов в реальных наборах данных у GPT-6.1 Sol и других визуально-языковых моделей.

GPT и смежные понятия#

BERT использует кодировщик Transformer без причинной маски, поэтому каждый токен видит весь входной текст. Он подходит для классификации и поиска, но не генерирует текст. LLM — любая большая языковая модель, а GPT — и название серии моделей OpenAI, и архитектура только декодера, общая для большинства LLM. Чат-бот, например ChatGPT, — это приложение на основе моделей GPT, в котором модель дополняют системным запросом, историей диалога и инструментами.