GPT-3

GPT-3 (Transformer tiền huấn luyện tạo sinh 3) là mô hình ngôn ngữ lớn (LLM) có 175 tỷ tham số, được OpenAI mô tả trong bài báo tháng 5 năm 2020 Mô hình ngôn ngữ là những bộ học few-shot. Model này lớn hơn GPT-2 tiền nhiệm hơn 100 lần; kết quả nổi bật nhất là học trong ngữ cảnh: khi được cung cấp mô tả tác vụ và một vài ví dụ trong prompt, cùng một model đóng băng có thể dịch, trả lời câu hỏi hoặc tính toán mà không cần fine-tuning. OpenAI không bao giờ phát hành trọng số và chỉ cung cấp GPT-3 qua API, ra mắt vào tháng 6 năm 2020. Các phiên bản hậu duệ của GPT-3 được fine-tune theo chỉ dẫn trở thành model GPT-3.5 đứng sau ChatGPT, giúp dòng GPT trở nên quen thuộc với công chúng vào cuối năm 2022.

Kiến trúc và huấn luyện#

GPT-3 là Transformer chỉ có bộ giải mã, với thiết kế giống GPT-2 nhưng được mở rộng quy mô. Model lớn nhất có 96 lớp, chiều rộng 12,288, 96 head attention với mỗi head có 128 chiều và cửa sổ ngữ cảnh gồm 2,048 token; các lớp của model luân phiên giữa attention đặc và attention thưa theo dải cục bộ. Model tái sử dụng cách token hóa BPE cấp byte của GPT-2 với bộ từ vựng 50,257 token. Bài báo huấn luyện tám kích cỡ, từ 125 triệu đến 175 tỷ tham số, mỗi model trên 300 tỷ token lấy từ Common Crawl đã lọc (60% dữ liệu huấn luyện), WebText2 (22%), hai kho ngữ liệu sách (mỗi kho 8%) và Wikipedia tiếng Anh (3%), sử dụng GPU V100 trên cụm do Microsoft cung cấp. Các siêu tham số đó quyết định quy mô và chi phí huấn luyện của model:

# GPT-3 175B: layers, width, and context from the paper's Table 2.1, plus GPT-2's vocabulary
n_layers, d_model, vocab_size, context = 96, 12288, 50257, 2048

# Each decoder block holds 4 * d^2 attention weights and 8 * d^2 feed-forward weights (4x hidden width)
blocks = n_layers * 12 * d_model**2
embeddings = (vocab_size + context) * d_model  # token and learned position embeddings
params = blocks + embeddings
print(f"Parameters: {params / 1e9:.1f} billion ({blocks / params:.1%} in the decoder blocks)")

# Training compute: about 6 FLOPs per parameter per token, over 300 billion training tokens
flops = 6 * params * 300e9
print(f"Training compute: {flops:.2e} FLOPs = {flops / (1e15 * 86400):,.0f} petaflop/s-days")

Đoạn mã in ra 174.6 tỷ tham số, trong đó 99.6% nằm ở các khối bộ giải mã, và 3.14e+23 FLOPs, tương đương 3,637 petaflop/s-ngày; các con số này khớp với 174,600 triệu tham số và 3.14e+23 FLOPs được liệt kê trong phụ lục bài báo.

Học few-shot và học trong ngữ cảnh#

Bài báo đánh giá ba thiết lập prompt. Zero-shot chỉ cung cấp chỉ dẫn, one-shot thêm một ví dụ mẫu, còn few-shot thêm nhiều ví dụ nhất có thể trong cửa sổ ngữ cảnh, thường là 10 đến 100. Hiệu năng tăng theo cả quy mô model lẫn số lượng ví dụ: trên benchmark trả lời câu hỏi TriviaQA, model 175 tỷ tham số đạt 64.3% ở chế độ zero-shot, 68.0% ở chế độ one-shot và 71.2% ở chế độ few-shot; mức cuối cùng cao hơn các hệ thống fine-tune trong cùng thiết lập trả lời không dùng tài liệu. Prompt few-shot đưa prompt engineering thành cách tiêu chuẩn để sử dụng LLM, và các kết quả này củng cố quan điểm về các quy luật mở rộng quy mô, theo đó model lớn hơn học được nhiều hơn từ ngữ cảnh. Ý tưởng dùng prompt thay vì huấn luyện lại cũng được áp dụng cho phát hiện đối tượng trong YOLOE-26; prompt trực quan của model sử dụng khung vẽ quanh các ví dụ trong ảnh tham chiếu để xác định một lớp, sau đó model tìm lớp đó trong ảnh mới mà không cập nhật trọng số.

Từ GPT-3 đến ChatGPT#

Microsoft nhận giấy phép độc quyền đối với model nền tảng GPT-3 vào tháng 9 năm 2020; Codex của OpenAI, một hậu duệ GPT-3 được fine-tune trên mã nguồn công khai, đã cung cấp sức mạnh cho phiên bản đầu tiên của GitHub Copilot vào năm 2021. GPT-3 cơ bản tiếp tục văn bản tốt nhưng làm theo chỉ dẫn kém, vì vậy OpenAI áp dụng tinh chỉnh theo chỉ dẫn và học tăng cường từ phản hồi của con người (RLHF). Người gán nhãn ưu tiên đầu ra của model InstructGPT 1.3 tỷ tham số hơn đầu ra của GPT-3 175 tỷ tham số. Dòng model này dẫn đến GPT-3.5 và ChatGPT vào tháng 11 năm 2022, rồi đến GPT-4 đa phương thức vào tháng 3 năm 2023. OPT-175B của Meta và BLOOM của BigScience đã tái tạo các model quy mô GPT-3 với trọng số mở vào năm 2022.

GPT-3 và các model liên quan#

• GPT-2: Model tiền nhiệm 1.5 tỷ tham số ra mắt năm 2019, có cùng kiến trúc và bộ mã hóa token nhưng nhỏ hơn khoảng một trăm lần, cùng ngữ cảnh 1,024 token.
• GPT-4: Phiên bản kế nhiệm năm 2023, tiếp nhận cả ảnh lẫn văn bản và làm theo chỉ dẫn đáng tin cậy hơn nhiều sau giai đoạn hậu huấn luyện.
• BERT: Model chỉ có bộ mã hóa của Google ra mắt năm 2018, đọc văn bản theo cả hai chiều và phù hợp với các tác vụ phân loại, trích xuất.

Hạn chế#

Bài báo GPT-3 tự liệt kê nhiều điểm yếu của model. Model lặp lại chính mình, mất mạch lạc trong các đoạn dài và mắc lỗi cơ bản về nhận thức thông thường trong thế giới vật lý; giống các LLM ra đời sau, model tự tin đưa ra thông tin sai lệch, hiện được gọi là ảo giác. Các tác giả đo lường thiên kiến về giới tính, chủng tộc và tôn giáo trong phần hoàn tất văn bản, đồng thời phát hiện một số tập kiểm thử benchmark đã bị rò rỉ vào dữ liệu web dùng để huấn luyện. Cũng khó phân biệt tạo văn bản của model với văn bản do con người viết: người đánh giá chỉ xác định đúng 52% bài báo thời sự dài 200 từ do model 175 tỷ tham số viết. OpenAI ngừng cung cấp các model API ada, babbage, curie và davinci ban đầu vào ngày 4 tháng 1 năm 2024, thay thế chúng bằng babbage-002 và davinci-002.