Scaling Laws

Các quy luật tỷ lệ hóa mạng nơ-ron là những mối quan hệ lũy thừa thực nghiệm dự đoán loss của model giảm như thế nào khi ba tài nguyên tăng lên: số lượng tham số (N), lượng dữ liệu huấn luyện tính bằng token (D) và lượng compute huấn luyện tính bằng phép toán dấu phẩy động (C). Các đường cong vẫn trơn qua nhiều bậc độ lớn, vì vậy các phòng thí nghiệm khớp mô hình trên những lượt chạy nhỏ, chi phí thấp rồi ngoại suy để chọn quy mô và ngân sách dữ liệu cho một lượt chạy lớn trước khi đầu tư compute. Chẳng hạn, báo cáo GPT-4 của OpenAI dự đoán một số khía cạnh hiệu năng của model cuối cùng dựa trên các model được huấn luyện với lượng compute không quá 1/1.000 mức của model đó. Các quy luật được biết đến rộng rãi nhất mô tả mô hình hóa ngôn ngữ, và phương pháp tương tự cũng áp dụng cho model thị giác, tiếng nói và suy luận.

Các quy luật tỷ lệ hóa Kaplan#

Các nhà nghiên cứu OpenAI do Jared Kaplan dẫn đầu đã công bố Scaling Laws for Neural Language Models vào năm 2020. Họ phát hiện loss cross-entropy của model ngôn ngữ transformer tuân theo quy luật lũy thừa theo N, D và C, với một số xu hướng trải dài hơn bảy bậc độ lớn; trong khi đó, độ rộng, độ sâu và các chi tiết kiến trúc khác chỉ có ảnh hưởng tối thiểu trong một phạm vi rộng. Các model lớn hơn cũng sử dụng mẫu dữ liệu hiệu quả hơn, vì vậy bài báo kết luận rằng cách huấn luyện sử dụng compute hiệu quả là dùng model rất lớn trên lượng dữ liệu tương đối vừa phải và dừng từ lâu trước khi hội tụ. GPT-3 áp dụng công thức đó với 175 tỷ tham số được huấn luyện trên 300 tỷ token.

Chinchilla và huấn luyện tối ưu theo compute#

Nghiên cứu Chinchilla của DeepMind huấn luyện hơn 400 model, từ 70 triệu đến hơn 16 tỷ tham số, trên 5 đến 500 tỷ token và đưa ra kết luận khác: với ngân sách compute cố định, quy mô model và số token huấn luyện nên tăng theo cùng tỷ lệ; do đó, mỗi lần tăng gấp đôi số tham số cần tăng gấp đôi dữ liệu. Bản thân Chinchilla sử dụng lượng compute tương đương Gopher 280 tỷ tham số nhưng chỉ có 70 tỷ tham số và nhiều dữ liệu hơn khoảng bốn lần; model này vượt trội hơn Gopher, GPT-3 và Megatron-Turing NLG 530 tỷ tham số. Nghiên cứu khớp loss theo công thức L(N, D) = E + A / N^α + B / D^β, trong đó E là loss không thể loại bỏ của văn bản tự nhiên, còn hai thành phần kia giảm theo quy mô model và dữ liệu. Chi phí huấn luyện vào khoảng 6 FLOP trên mỗi tham số mỗi token, nên C ≈ 6ND; tối thiểu hóa loss đã khớp với một giá trị C cho trước sẽ cho ra model tối ưu theo compute:

import numpy as np

# Chinchilla loss fit L(N, D) = E + A / N^alpha + B / D^beta, as re-estimated by Besiroglu et al. (2024)
E, A, B, alpha, beta = 1.8172, 482.01, 2085.43, 0.3478, 0.3658

# Training costs about 6 FLOPs per parameter per token, so a budget C fixes D = C / (6N)
N = np.logspace(8, 13, 10_000)
for C in [1e21, 1e23, 5.76e23, 1e25]:
    D = C / (6 * N)
    loss = E + A / N**alpha + B / D**beta
    best = loss.argmin()
    print(
        f"C={C:.2e} FLOPs: {N[best] / 1e9:6.1f}B params, {D[best] / 1e12:5.2f}T tokens, "
        f"{D[best] / N[best]:.0f} tokens/param, loss {loss[best]:.3f}"
    )

Các hệ số lấy từ bản tái lập phép khớp Chinchilla của Epoch AI, đã hiệu chỉnh ước tính thứ ba trong bài báo gốc. Với ngân sách của Chinchilla là 5.76 × 10^23 FLOP, mô hình khớp chọn 72.2 tỷ tham số và 1.33 nghìn tỷ token, gần với quy mô thực tế của Chinchilla là 70 tỷ tham số và 1.4 nghìn tỷ token; mọi ngân sách từ 10^21 đến 10^25 FLOP đều cho kết quả 17 đến 22 token trên mỗi tham số, phù hợp với quy tắc phổ biến khoảng 20.

Vượt ra ngoài tối ưu theo compute#

Quy tắc Chinchilla chỉ tối thiểu hóa compute huấn luyện, trong khi chi phí của model đã triển khai phát sinh ở mỗi truy vấn. Các model nhỏ hơn được huấn luyện vượt xa điểm tối ưu theo compute sẽ rẻ hơn khi phục vụ: Meta lưu ý rằng lượng dữ liệu tối ưu theo Chinchilla cho model 8 tỷ tham số vào khoảng 200 tỷ token, nhưng Llama 3 8B vẫn cải thiện theo log-tuyến tính cho đến 15 nghìn tỷ token; đó là lý do model ngôn ngữ nhỏ (SLM) thường được huấn luyện quá mức. Nguồn cung dữ liệu cũng là một giới hạn khác. Một nghiên cứu năm 2023 về tỷ lệ hóa trong điều kiện giới hạn dữ liệu phát hiện rằng huấn luyện tối đa bốn epoch trên dữ liệu lặp lại chỉ làm thay đổi loss không đáng kể so với dữ liệu duy nhất, còn dữ liệu tổng hợp giúp mở rộng thêm nguồn cung dữ liệu huấn luyện.

Tỷ lệ hóa compute tại thời điểm kiểm thử#

Một trục thứ hai là chi tiêu compute trong quá trình suy luận. Model suy luận như o1 của OpenAI tạo ra chuỗi suy nghĩ dài trước khi trả lời; năm 2024, OpenAI báo cáo độ chính xác của o1 tăng lên khi có thêm compute cho học tăng cường cũng như khi model dành thêm thời gian suy nghĩ. Một nghiên cứu của Google DeepMind và UC Berkeley về tỷ lệ hóa compute tại thời điểm kiểm thử phát hiện rằng các chiến lược tối ưu theo compute, chẳng hạn tìm kiếm bằng model phần thưởng quy trình (PRM), hiệu quả hơn lấy mẫu best-of-N hơn bốn lần; trên các bài toán mà model nhỏ có xác suất thành công đáng kể, compute bổ sung tại thời điểm kiểm thử giúp model đó vượt trội hơn model lớn gấp 14 lần với cùng lượng FLOP.

Tỷ lệ hóa trong thị giác máy tính#

Các model thị giác cũng tuân theo xu hướng tương tự. Nghiên cứu Scaling Vision Transformers của Google huấn luyện một transformer thị giác (ViT) 2 tỷ tham số, đạt độ chính xác top-1 90.45% trên ImageNet. Ultralytics YOLO26 tạo ra năm kích cỡ từ một YAML của model, trong đó các mục scales thiết lập hệ số nhân độ sâu và độ rộng cùng giới hạn số kênh, từ n: [0.50, 0.25, 1024] đến x: [1.00, 1.50, 512]. Trên COCO, độ chính xác trung bình trung bình (mAP) tăng từ 40.9 với YOLO26n có 2.4 triệu tham số lên 57.5 với YOLO26x có 55.7 triệu tham số; số tham số tăng gấp 23 lần để đổi lấy mức tăng 16.6 điểm mAP50-95.