GPT (Generative Pre-trained Transformer)
GPT (Transformer tạo sinh được pretrained) là Transformer chỉ có decoder, được pretrained để dự đoán token tiếp theo. Nội dung đề cập đến cách hoạt động và các phiên bản từ GPT-1 đến GPT-5.
GPT (Transformer được tiền huấn luyện theo phương thức sinh) là model ngôn ngữ Transformer chỉ có decoder, được tiền huấn luyện trước trên lượng lớn văn bản chưa gán nhãn để dự đoán token tiếp theo, rồi điều chỉnh cho các tác vụ. OpenAI giới thiệu phương pháp này vào tháng 6 năm 2018 qua bài báo của Alec Radford và các đồng nghiệp, Improving Language Understanding by Generative Pre-Training; tên gọi mô tả quy trình: model sinh văn bản, được tiền huấn luyện trước khi huấn luyện cho tác vụ cụ thể và xây dựng trên Transformer. Dòng GPT phát triển từ 117 triệu tham số trong GPT-1 lên 175 tỷ trong GPT-3; ChatGPT, ra mắt ngày 30 tháng 11 năm 2022, đã đưa dòng model này trở thành họ model ngôn ngữ lớn (LLM) được biết đến rộng rãi nhất. "GPT-style" cũng mô tả mọi LLM chỉ có decoder được huấn luyện theo cách tương tự, bao gồm model Llama của Meta và Qwen của Alibaba.
Model GPT hoạt động như thế nào#
Văn bản trước tiên được chia thành token; GPT-2 giới thiệu phương pháp tokenization cấp byte với bộ từ vựng 50,257 token, được GPT-3 giữ lại. Mỗi token trở thành một embedding cộng với tín hiệu vị trí; sau đó, một chuỗi các khối decoder giống hệt nhau tinh chỉnh các vector này. Trong mỗi khối, self-attention có mask cho phép mỗi vị trí chỉ đọc chính nó và các vị trí đứng trước; lớp feed-forward biến đổi từng vị trí độc lập:
Nhờ causal mask, một lượt forward trên chuỗi huấn luyện 1,024 token tạo ra đồng thời 1,024 dự đoán token tiếp theo, giúp tiền huấn luyện diễn ra song song dù quá trình sinh là tuần tự. Khi suy luận, model chấm điểm token tiếp theo, nối thêm một token rồi lặp lại quy trình, tái sử dụng phép tính trước đó thông qua cache KV. GPT-2 124 triệu tham số của OpenAI minh họa bước đầu tiên:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
inputs = tokenizer("The capital of France is", return_tensors="pt")
# One forward pass scores every vocabulary token as the next token
with torch.no_grad():
logits = model(**inputs).logits[0, -1]
top = logits.softmax(dim=-1).topk(5)
for p, i in zip(top.values, top.indices):
print(f"{tokenizer.decode(i)!r}: {p:.3f}")
# Generation repeats that step, appending one token at a time
output = model.generate(**inputs, max_new_tokens=8, do_sample=False, pad_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(output[0]))GPT-2 gán xác suất 0.085 cho " the" và chỉ 0.032 cho " Paris"; giải mã tham lam tạo ra câu "The capital of France is the capital of the French Republic, and". GPT pretrained tiếp tục văn bản theo cách dữ liệu huấn luyện gợi ý; tinh chỉnh theo chỉ dẫn, sau đó là học tăng cường từ phản hồi của con người (RLHF), biến model thành trợ lý trả lời câu hỏi.
Từ GPT-1 đến GPT-5#
GPT-1 tiền huấn luyện decoder 12 lớp trên hơn 7,000 cuốn sách chưa được xuất bản, sau đó fine-tune model cho từng tác vụ, cải thiện kết quả tiên tiến nhất trên 9 trong số 12 tác vụ được nghiên cứu. GPT-2 được công bố vào tháng 2 năm 2019, mở rộng lên 1.5 tỷ tham số được huấn luyện trên 40 GB văn bản web và thực hiện tác vụ zero-shot; OpenAI phát hành trọng số theo từng giai đoạn đến tháng 11 năm 2019 vì lo ngại về việc sử dụng sai mục đích. GPT-3, ra mắt vào tháng 5 năm 2020, thể hiện khả năng học few-shot từ các ví dụ đặt trong prompt, một kết quả đã được quy luật mở rộng quy mô dự đoán trước.
InstructGPT rồi đến ChatGPT bổ sung quá trình huấn luyện bằng phản hồi của con người; GPT-4 tiếp nhận ảnh làm đầu vào vào tháng 3 năm 2023. Các model suy luận dòng o của OpenAI, bắt đầu với o1 vào tháng 9 năm 2024, học cách tạo chuỗi suy nghĩ dài trước khi trả lời; GPT-5, phát hành ngày 7 tháng 8 năm 2025, đặt một model nhanh và một model suy luận phía sau router. Hai ngày trước đó, OpenAI phát hành gpt-oss-120b và gpt-oss-20b theo giấy phép Apache 2.0; đây là các model ngôn ngữ có trọng số mở đầu tiên của công ty kể từ GPT-2.
GPT trong thị giác máy tính#
Phương pháp dự đoán token tiếp theo tương tự cũng áp dụng cho ảnh. Image GPT của OpenAI huấn luyện các model quy mô GPT-2 để dự đoán lần lượt từng pixel vào năm 2020; mô hình tự hồi quy thị giác (VAR) dự đoán ảnh theo từng tỷ lệ; nhiều model thị giác-ngôn ngữ (VLM) kết hợp bộ mã hóa ảnh với decoder kiểu GPT để tạo câu trả lời. Bộ mã hóa văn bản cũng sử dụng thiết kế này: CLIP của OpenAI mã hóa văn bản bằng Transformer 12 lớp, 63 triệu tham số, sử dụng kiến trúc GPT-2 và self-attention có mask. YOLO-World của Tencent AI Lab, có thể chạy trong gói Ultralytics, gọi bộ mã hóa văn bản CLIP khi set_classes(["person", "bus"]) được gọi; nhờ đó, tên mỗi lớp được chuyển thành embedding để detector đối chiếu với các vùng ảnh, cho phép thay đổi danh sách lớp mà không cần huấn luyện lại.
GPT và các thuật ngữ liên quan#
BERT sử dụng encoder Transformer không có causal mask, vì vậy mọi token đều nhìn thấy toàn bộ đầu vào; model này phù hợp với phân loại và truy xuất, nhưng không tạo văn bản. LLM là bất kỳ model ngôn ngữ lớn nào; GPT là tên gọi của cả dòng model OpenAI lẫn thiết kế chỉ có decoder được phần lớn LLM dùng chung. Chatbot như ChatGPT là ứng dụng xây dựng trên các model GPT, với system prompt, lịch sử hội thoại và công cụ được tích hợp bên ngoài model.
