GPT (Generative Pre-trained Transformer)
Transformer tạo sinh được tiền huấn luyện (GPT) là transformer chỉ gồm bộ giải mã, được tiền huấn luyện để dự đoán token tiếp theo. Bài viết trình bày cách GPT hoạt động và các phiên bản từ GPT-1 đến GPT-6.
GPT (Transformer được tiền huấn luyện theo phương thức sinh) là model ngôn ngữ Transformer chỉ có decoder, được tiền huấn luyện trước trên lượng lớn văn bản chưa gán nhãn để dự đoán token tiếp theo, rồi điều chỉnh cho các tác vụ. OpenAI giới thiệu phương pháp này vào tháng 6 năm 2018 qua bài báo của Alec Radford và các đồng nghiệp, Improving Language Understanding by Generative Pre-Training; tên gọi mô tả quy trình: model sinh văn bản, được tiền huấn luyện trước khi huấn luyện cho tác vụ cụ thể và xây dựng trên Transformer. Dòng GPT phát triển từ 117 triệu tham số trong GPT-1 lên 175 tỷ trong GPT-3; ChatGPT, ra mắt ngày 30 tháng 11 năm 2022, đã đưa dòng model này trở thành họ model ngôn ngữ lớn (LLM) được biết đến rộng rãi nhất. "GPT-style" cũng mô tả mọi LLM chỉ có decoder được huấn luyện theo cách tương tự, bao gồm model Llama của Meta và Qwen của Alibaba.
Model GPT hoạt động như thế nào#
Văn bản trước tiên được chia thành token; GPT-2 giới thiệu phương pháp tokenization cấp byte với bộ từ vựng 50,257 token, được GPT-3 giữ lại. Mỗi token trở thành một embedding cộng với tín hiệu vị trí; sau đó, một chuỗi các khối decoder giống hệt nhau tinh chỉnh các vector này. Trong mỗi khối, self-attention có mask cho phép mỗi vị trí chỉ đọc chính nó và các vị trí đứng trước; lớp feed-forward biến đổi từng vị trí độc lập:
Nhờ causal mask, một lượt forward trên chuỗi huấn luyện 1,024 token tạo ra đồng thời 1,024 dự đoán token tiếp theo, giúp tiền huấn luyện diễn ra song song dù quá trình sinh là tuần tự. Khi suy luận, model chấm điểm token tiếp theo, nối thêm một token rồi lặp lại quy trình, tái sử dụng phép tính trước đó thông qua cache KV. GPT-2 124 triệu tham số của OpenAI minh họa bước đầu tiên:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")
# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
print(f"{tokenizer.decode(i)!r}: {p:.3f}")
# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))GPT-2 gán xác suất 0.085 cho " the" và chỉ 0.032 cho " Paris"; giải mã tham lam tạo ra câu "The capital of France is the capital of the French Republic, and". GPT pretrained tiếp tục văn bản theo cách dữ liệu huấn luyện gợi ý; tinh chỉnh theo chỉ dẫn, sau đó là học tăng cường từ phản hồi của con người (RLHF), biến model thành trợ lý trả lời câu hỏi.
Từ GPT-1 đến GPT-6#
GPT-1 tiền huấn luyện decoder 12 lớp trên hơn 7,000 cuốn sách chưa được xuất bản, sau đó fine-tune model cho từng tác vụ, cải thiện kết quả tiên tiến nhất trên 9 trong số 12 tác vụ được nghiên cứu. GPT-2 được công bố vào tháng 2 năm 2019, mở rộng lên 1.5 tỷ tham số được huấn luyện trên 40 GB văn bản web và thực hiện tác vụ zero-shot; OpenAI phát hành trọng số theo từng giai đoạn đến tháng 11 năm 2019 vì lo ngại về việc sử dụng sai mục đích. GPT-3, ra mắt vào tháng 5 năm 2020, thể hiện khả năng học few-shot từ các ví dụ đặt trong prompt, một kết quả đã được quy luật mở rộng quy mô dự đoán trước.
InstructGPT rồi ChatGPT bổ sung huấn luyện bằng phản hồi của con người, còn GPT-4 tiếp nhận ảnh làm đầu vào vào tháng 3 năm 2023. Các model suy luận dòng o của OpenAI, bắt đầu với o1 vào tháng 9 năm 2024, đã học cách viết một chuỗi suy nghĩ dài trước khi trả lời; GPT-5, phát hành ngày 7 tháng 8 năm 2025, đặt một model nhanh và một model suy luận sau một router. Hai ngày trước đó, OpenAI phát hành gpt-oss-120b và gpt-oss-20b theo giấy phép Apache 2.0, là các model ngôn ngữ có trọng số mở đầu tiên của hãng kể từ GPT-2. Họ GPT-6 ra mắt vào tháng 9 năm 2026: GPT-6 Astra ngày 3 tháng 9, GPT-6 Sol và GPT-6 Luna ngày 22 tháng 9, và GPT-6.1 Sol ngày 29 tháng 9.
GPT trong thị giác máy tính#
Công thức dự đoán token tiếp theo cũng áp dụng cho ảnh. Image GPT của OpenAI huấn luyện các model có quy mô GPT-2 dự đoán từng pixel một vào năm 2020, mô hình tự hồi quy thị giác (VAR) dự đoán ảnh theo từng tỷ lệ, còn nhiều mô hình thị giác-ngôn ngữ (VLM) gắn encoder ảnh với decoder kiểu GPT tạo ra câu trả lời. Encoder văn bản cũng sử dụng thiết kế này: CLIP của OpenAI mã hóa văn bản bằng Transformer 12 layer có 63 triệu tham số, sử dụng kiến trúc GPT-2 và self-attention có mask. YOLO-World của Tencent AI Lab, chạy trong package Ultralytics, gọi encoder văn bản CLIP đó khi gọi set_classes(["person", "bus"]), chuyển mỗi tên class thành embedding để bộ phát hiện đối chiếu với các vùng ảnh, nhờ vậy danh sách class có thể thay đổi mà không cần huấn luyện lại. Các model GPT của OpenAI cũng đọc được ảnh, còn Bảng xếp hạng VLM đo lường độ chính xác khi GPT-6.1 Sol và các mô hình thị giác-ngôn ngữ khác phát hiện đối tượng trong dataset thực tế.
GPT và các thuật ngữ liên quan#
BERT sử dụng encoder Transformer không có causal mask, vì vậy mọi token đều nhìn thấy toàn bộ đầu vào; model này phù hợp với phân loại và truy xuất, nhưng không tạo văn bản. LLM là bất kỳ model ngôn ngữ lớn nào; GPT là tên gọi của cả dòng model OpenAI lẫn thiết kế chỉ có decoder được phần lớn LLM dùng chung. Chatbot như ChatGPT là ứng dụng xây dựng trên các model GPT, với system prompt, lịch sử hội thoại và công cụ được tích hợp bên ngoài model.
