Neural Scaling Laws

ニューラルスケーリング則は、モデルサイズ、トレーニングデータ、計算量の増加に伴ってニューラルネットワークの性能がどのように変化するかを示す経験的な関係です。多くの場合、べき乗則に従い、リソースを一定の倍率で増やすと、誤差は下限に達するまで予測可能な割合で減少します。そのため、スケーリング則は大規模なトレーニングによる効果を見積もり、計算予算の配分を決める際に役立ちます。

AIでは、スケーリング則はニューラルスケーリング則の同義語として使われることがよくあります。スケーラビリティは、システムが増大するワークロードを効率的に処理する能力を指します。

ニューラルスケーリング則の仕組み#

トレーニング時のスケーリング分析では、主に次の3つの量を扱います。

• モデルサイズ： モデルの重みを含む学習済みパラメーターの数が、ネットワークのパターン表現能力を決定します。
• トレーニングデータ： トレーニングデータの量によって、パターンの学習に使う例が提供されます。言語モデルのデータセットは通常、モデルが処理するテキストの単位であるtokensで測定されます。
• トレーニング計算量： トレーニング中に実行される演算の総量は、浮動小数点演算で測定され、通常はFLOPsと略されます。

これらのリソースは相互に作用します。モデルの容量を増やすと、効果的に利用できるデータ量やトレーニング量も変化します。適合させたスケーリング関係により、これらを組み合わせて配分した場合に予測される損失、つまり損失関数で測定される数値誤差との関係が示されます。

両軸を対数スケールにすると、べき乗則の曲線はおおむね直線になります。その指数は、リソースの追加に伴って誤差がどれほど速く減少するかを示します。小規模な実験で曲線を確立すれば、チームはより大規模な実行の結果を予測できます。Joel Hestnessらは2017年に、言語、ビジョン、翻訳、音声のタスクで誤差が予測可能なべき乗則に従ってスケーリングすることを示しました。

Jared Kaplan、Sam McCandlishらは、2020年の論文ニューラル言語モデルのスケーリング則で、広く用いられる言語モデルの関係性を確立しました。実験では、Transformerの交差エントロピー損失とパラメーター、データ、計算量との関係が示され、その傾向の一部は7桁を超える範囲に及びました。

計算量最適化トレーニングとChinchillaスケーリング#

計算量最適化トレーニングでは、固定されたトレーニング予算のもとで損失を最小化するモデルサイズとトレーニング期間の組み合わせを選択します。大きなモデルはトークンあたりの計算量が多いため、同じ予算内で利用できるトークン数が少なくなります。

Jordan Hoffmannらは2022年、影響力の大きいChinchillaの配分則を提唱しました。計算量の増加に合わせて、モデルのパラメーター数とトレーニングトークン数をおおむね同じ割合で増やすべきだというものです。彼らの実験では400を超える言語モデルが対象となりました。Chinchillaの計算量最適配分では、同じトレーニング計算予算で、2800億パラメーターのGopherを上回る性能を70億パラメーターのモデルで実現しました。

実務上、パラメーターに計算量を過剰に配分すると、モデルのトレーニングが不十分になります。モデルの容量とデータのバランスを取ることで、同じ演算予算から得られる性能が向上します。デプロイ時には別の要素も考慮が必要です。小さなモデルは推論に必要な計算量が少ないため、トレーニング時の配分は予測結果を提供するコストにも影響します。

コンピュータービジョンでの応用#

コンピュータービジョンでは、スケーリング分析によって、モデルの容量、画像データセット、トレーニング量、予測品質の関係を把握できます。データセットを拡張するか、ネットワークのサイズを大きくするかといった判断に役立ちます。

GoogleのビジョンTransformerのスケーリング実験では、誤差、データ、計算量の関係が明らかになりました。その結果、20億パラメーターのビジョンTransformerはImageNetで90.45%のトップ1 精度を達成し、連携してスケーリングすることが画像分類に実用的な価値をもたらすことを示しました。

Ultralytics YOLOは、YOLO26のモデルサイズ別バリアントによってアーキテクチャをスケーリングし、ユーザーに物体検出向けのさまざまな容量と計算量の選択肢を提供します。COCO上で入力解像度640ピクセルの場合、YOLO26nはパラメーター数が240万で40.9 mAP50–95、YOLO26xはパラメーター数が5570万でmAP50–95が57.5となり、16.6ポイント向上します。

スケーリング率に差が生じる理由#

スケーリング指数は、タスク、データ構造、学習方法によって異なります。ランダム特徴モデルは、数学的に解くことができる例です。入力を固定された非線形特徴に変換し、その出力重みを学習します。Alexander Maloney、Daniel Roberts、James Sullyは2022年にこの構成を使って、データセットの統計的性質がテスト損失のべき乗則と最終的な性能の頭打ちをどのようにもたらすかを説明しました。

特徴学習では、トレーニング中に内部表現そのものが変化します。表現が変わらない固定的な特徴抽出とは異なります。Blake Bordelon、Alexander Atanasov、Cengiz Pehlevanは、特徴学習が難しいタスクのスケーリングを改善する仕組みを示しました。彼らが扱った可解なモデルでは、特徴を適応させることで、非常に難しい目標関数に対する計算量スケーリング指数がおおむね2倍になります。