Scaling Laws

Các quan sát thực nghiệm về scaling mạng neural trong trí tuệ nhân tạo cho thấy hiệu năng của một model được cải thiện theo cách có thể dự đoán khi tăng các tài nguyên cụ thể—chẳng hạn như năng lực tính toán, kích thước dataset và số lượng tham số. Ban đầu được phổ biến rộng rãi qua các nghiên cứu của những tổ chức như OpenAI và Google DeepMind, các mối quan hệ theo quy luật lũy thừa này cho thấy việc mở rộng tài nguyên tạo ra mức giảm có thể dự đoán về mặt toán học trong loss cross-entropy. Việc hiểu các nguyên tắc này cho phép các nhà nghiên cứu và kỹ sư phân bổ hiệu quả ngân sách lên đến hàng triệu đô la, dự đoán chính xác mạng neural cần lớn đến mức nào để đạt độ chính xác mục tiêu trước khi bắt đầu một quy trình training quy mô lớn.

Sự tiến hóa của scaling trong pre-training#

Công thức ban đầu của các quy luật này, được gọi là các quy luật scaling Kaplan và được giới thiệu vào năm 2020, đã xác lập rằng hiệu năng của model ngôn ngữ tăng đều theo compute training được gia tăng. Framework này sau đó được tinh chỉnh bởi các quy luật Scaling Chinchilla vào năm 2022, cho thấy để training tối ưu, cả kích thước model và dữ liệu training phải được mở rộng theo cùng tỷ lệ. Ví dụ, nếu tăng gấp đôi số tham số của một model, bạn cũng phải tăng gấp đôi số token training. Paradigm này đã định hướng hiệu quả cho việc phát triển các Mô hình ngôn ngữ lớn (LLMs) hiện đại được xây dựng bằng các framework như PyTorch và TensorFlow, đảm bảo các cụm GPU quy mô lớn được sử dụng hiệu quả mà không gây overfitting hoặc lãng phí tài nguyên tính toán.

Sự chuyển đổi paradigm: Scaling compute tại thời điểm test#

Trong giai đoạn 2024–2025, như được nhấn mạnh trong các báo cáo tiến bộ AI thường niên, ngành AI đã chuyển dịch mạnh mẽ sang scaling tại thời điểm inference. Khi việc pre-training các model lớn hơn bắt đầu gặp phải lợi ích giảm dần và giới hạn về khả năng cung cấp dữ liệu, các nhà nghiên cứu phát hiện cách scale compute tại thời điểm test của LLM trực tiếp. Bằng cách cung cấp cho model nhiều năng lực xử lý hơn trong quá trình inference, họ có thể cải thiện đáng kể khả năng suy luận phức tạp.

Các kỹ thuật như Chuỗi suy nghĩ (CoT) và lấy mẫu Best-of-N cho phép model khám phá nhiều hướng trước khi trả lời. Quy luật scaling tại thời điểm test này, được tiên phong bởi các model tiên tiến như o1 của OpenAI và DeepSeek-R1, cùng với các model suy luận tiên tiến khác, chứng minh rằng việc tăng compute trong giai đoạn dự đoán có thể cho phép một architecture nhỏ hơn, hiệu quả cao hơn vượt qua một model cũ quy mô lớn trong các benchmark logic nghiêm ngặt.

Các ứng dụng trong thực tế#

Các nguyên tắc scaling chi phối quá trình phát triển vượt xa việc sinh văn bản, đồng thời định hình mạnh mẽ các pipeline thị giác máy tính và phát hiện đối tượng hiện đại.

• Phân bổ tài nguyên cho các foundation model: Các công ty phát triển hệ thống lái xe tự hành dựa vào các công thức scaling để tính chính xác số lượng ảnh được gán nhãn cần thiết nhằm giảm tỷ lệ lỗi của Độ chính xác trung bình (mAP) xuống mức an toàn, sẵn sàng đưa vào production. Bằng cách sử dụng Ultralytics Platform cho gán nhãn dữ liệu cộng tác và training phân tán trên cloud, các nhóm có thể dự toán chi phí bằng toán học trước khi triển khai.
• Xác định kích thước model và triển khai edge: Các công thức scaling ảnh hưởng trực tiếp đến thiết kế architecture của những model hiện đại như Ultralytics YOLO26. Bằng cách cung cấp một họ model thống nhất được scale theo toán học từ Nano (n) đến Extra Large (x), các developer có thể dự đoán việc đánh đổi giữa các yêu cầu nghiêm ngặt về độ chính xác và độ trễ inference dựa trên các giới hạn phần cứng edge cụ thể của họ.

Ví dụ code: Scaling tại thời điểm inference trong thị giác máy tính#

Trong thị giác máy tính, bạn có thể tận dụng một dạng thực tiễn của scaling tại thời điểm test có tên là Tăng cường tại thời điểm test (TTA). Bằng cách sử dụng thêm compute trong giai đoạn dự đoán để đánh giá nhiều phiên bản đã được tăng cường của một hình ảnh, model cải thiện độ tin cậy trong phát hiện theo cách có thể dự đoán, tương tự các kỹ thuật tìm kiếm suy luận được sử dụng trong các LLM tiên tiến.

from ultralytics import YOLO

# Load the recommended YOLO26 model (nano version for high speed)
model = YOLO("yolo26n.pt")

# Perform standard inference (faster, lower test-time compute)
results_standard = model("https://ultralytics.com/images/bus.jpg")

# Perform inference-time scaling via Test-Time Augmentation (TTA)
# Predictably improves accuracy by utilizing more compute during prediction
results_tta = model("https://ultralytics.com/images/bus.jpg", augment=True)

print(f"Standard detections: {len(results_standard[0].boxes)}")
print(f"Scaled TTA detections: {len(results_tta[0].boxes)}")

Các quy luật scaling so với những khái niệm liên quan#

Mặc dù có liên quan chặt chẽ đến năng lực phần cứng, các quy luật scaling của AI đặc biệt đo lường hiệu quả của phần mềm và thuật toán trong mối tương quan với phần cứng đó.

• Các quy luật scaling so với Định luật Moore: Định luật Moore là một quan sát lâu đời về phần cứng, dự đoán rằng số lượng transistor trên một vi mạch sẽ tăng gấp đôi sau khoảng mỗi hai năm. Ngược lại, scaling của AI theo dõi bằng toán học mức độ năng lực thực tế của model được cải thiện như thế nào khi có quyền truy cập vào pool phần cứng ngày càng mở rộng đó.
• Scaling trong training so với scaling trong inference: Các công thức training tính toán sự kết hợp tối ưu nhất về compute giữa tham số và dữ liệu trong quá trình tạo model ban đầu. Ngược lại, scaling trong inference đo lường cách việc linh hoạt sử dụng thêm compute cho các bước tìm kiếm và xác minh ngay trước khi sinh output có thể cải thiện kết quả cuối cùng mà không cần training lại.