Neural Scaling Laws

Các định luật scaling mạng neural là những mối quan hệ thực nghiệm mô tả hiệu năng của mạng neural thay đổi như thế nào khi kích thước model, dữ liệu huấn luyện và năng lực tính toán tăng lên. Chúng thường tuân theo quy luật lũy thừa: tăng một tài nguyên theo một hệ số cố định sẽ tạo ra mức giảm lỗi tương ứng có thể dự đoán được, cho đến khi chạm ngưỡng giới hạn. Nhờ vậy, các định luật scaling hữu ích trong việc ước tính lợi ích của những lần huấn luyện quy mô lớn hơn và quyết định cách phân bổ ngân sách tính toán.

Trong AI, định luật scaling thường được dùng như từ đồng nghĩa với định luật scaling mạng neural. Khả năng mở rộng mô tả khả năng của một hệ thống xử lý hiệu quả khối lượng công việc ngày càng tăng.

Cách thức hoạt động của các định luật scaling mạng neural#

Ba đại lượng này định hình phần lớn các phân tích về scaling trong quá trình huấn luyện:

• Kích thước model: Số lượng tham số đã học, bao gồm cả trọng số model, quyết định khả năng biểu diễn các mẫu của mạng.
• Dữ liệu huấn luyện: Lượng dữ liệu huấn luyện cung cấp các ví dụ để model học những mẫu đó. Các tập dữ liệu cho mô hình ngôn ngữ thường được đo bằng token, đơn vị văn bản mà model xử lý.
• Năng lực tính toán khi huấn luyện: Tổng số phép toán được thực hiện trong quá trình huấn luyện được đo bằng phép toán dấu phẩy động, thường viết tắt là FLOPs.

Các tài nguyên này tương tác với nhau: tăng năng lực của model sẽ làm thay đổi lượng dữ liệu và công sức huấn luyện có thể được khai thác hiệu quả. Mối quan hệ scaling được khớp với dữ liệu sẽ liên kết cách phân bổ tổng hợp các tài nguyên này với loss dự kiến, tức sai số dạng số được đo bằng hàm loss.

Đường cong lũy thừa trông gần như thẳng khi cả hai trục đều dùng thang đo logarit. Số mũ của đường cong mô tả tốc độ giảm lỗi khi bổ sung tài nguyên. Các thử nghiệm quy mô nhỏ xác lập đường cong, cho phép nhóm dự báo kết quả của những lần chạy quy mô lớn hơn. Năm 2017, Joel Hestness và các cộng sự đã chứng minh mức scaling lỗi theo quy luật lũy thừa có thể dự đoán được trên các tác vụ ngôn ngữ, thị giác, dịch thuật và tiếng nói.

Jared Kaplan, Sam McCandlish và các cộng sự đã thiết lập những mối quan hệ phổ biến cho mô hình ngôn ngữ trong bài báo năm 2020 Scaling Laws for Neural Language Models. Các thử nghiệm của họ liên kết loss cross-entropy của Transformer với số lượng tham số, dữ liệu và năng lực tính toán; một số xu hướng trải dài hơn bảy bậc độ lớn.

Huấn luyện tối ưu theo năng lực tính toán và scaling Chinchilla#

Huấn luyện tối ưu theo năng lực tính toán lựa chọn tổ hợp kích thước model và thời lượng huấn luyện đạt loss thấp nhất trong một ngân sách huấn luyện cố định. Model lớn hơn tiêu tốn nhiều năng lực tính toán hơn cho mỗi token, do đó số token có thể xử lý trong ngân sách đó sẽ ít hơn.

Năm 2022, Jordan Hoffmann và các cộng sự đã giới thiệu quy tắc phân bổ Chinchilla có ảnh hưởng lớn: số lượng tham số model và token huấn luyện nên tăng gần như đồng đều khi năng lực tính toán tăng. Các thử nghiệm của họ bao gồm hơn 400 mô hình ngôn ngữ. Cách phân bổ tối ưu theo năng lực tính toán của Chinchilla đã tạo ra một model 70 tỷ tham số vượt trội hơn Gopher 280 tỷ tham số với cùng ngân sách tính toán huấn luyện.

Hệ quả thực tế là phân bổ quá nhiều năng lực tính toán cho tham số sẽ khiến model chưa được huấn luyện đủ. Cân bằng năng lực của model với dữ liệu sẽ cải thiện hiệu năng đạt được trong cùng ngân sách phép toán. Việc triển khai còn đặt ra một yếu tố khác: model nhỏ hơn cần ít tính toán hơn cho suy luận, vì vậy cách phân bổ tài nguyên huấn luyện cũng ảnh hưởng đến chi phí phục vụ dự đoán.

Ứng dụng trong computer vision#

Trong Computer Vision, các phân tích scaling liên kết năng lực model, tập dữ liệu hình ảnh, công sức huấn luyện và chất lượng dự đoán. Những phân tích này hỗ trợ quyết định mở rộng tập dữ liệu hay tăng kích thước mạng.

Các thử nghiệm scaling Vision Transformer của Google đã mô tả mối quan hệ giữa lỗi, dữ liệu và năng lực tính toán. Vision Transformer hai tỷ tham số thu được đạt độ chính xác top-1 90,45% trên ImageNet, cho thấy giá trị thực tiễn của scaling phối hợp đối với phân loại hình ảnh.

Ultralytics YOLO áp dụng scaling kiến trúc thông qua các phiên bản kích thước model của YOLO26, cung cấp cho người dùng nhiều lựa chọn về năng lực và mức tính toán cho phát hiện đối tượng. Ở độ phân giải đầu vào 640 pixel trên COCO, YOLO26n có 2,4 triệu tham số và đạt 40,9 mAP50–95, trong khi YOLO26x có 55,7 triệu tham số và đạt 57,5 mAP50–95—tăng 16,6 điểm.

Vì sao tốc độ scaling khác nhau#

Số mũ scaling phụ thuộc vào tác vụ, cấu trúc dữ liệu và phương pháp học. Model đặc trưng ngẫu nhiên là một ví dụ có thể giải bằng toán học: model ánh xạ đầu vào thành các đặc trưng phi tuyến cố định rồi học trọng số đầu ra của chúng. Năm 2022, Alexander Maloney, Daniel Roberts và James Sully đã dùng cấu trúc này để giải thích cách thống kê của tập dữ liệu tạo ra loss kiểm thử tuân theo quy luật lũy thừa và cuối cùng chững lại.

Học đặc trưng làm thay đổi chính các biểu diễn nội bộ trong quá trình huấn luyện. Điều này khác với trích xuất đặc trưng cố định, trong đó các biểu diễn không thay đổi. Blake Bordelon, Alexander Atanasov và Cengiz Pehlevan đã chỉ ra cách học đặc trưng cải thiện scaling trên các tác vụ khó: trong model có thể giải được của họ, việc điều chỉnh đặc trưng gần như tăng gấp đôi số mũ scaling theo năng lực tính toán đối với các hàm mục tiêu rất khó.