Double Descent
ダブルディセントとは、モデルのテスト誤差が低下した後、補間しきい値でピークに達し、その後モデルの規模を拡大するか学習時間を延ばすと再び低下するパターンです。
ダブルディセントとは、モデルの規模を大きくしたり、トレーニングを長くしたりするにつれて、未知のデータに対するモデルの誤差が低下、上昇、再び低下するパターンです。誤差の上昇は、モデルがすべてのトレーニング例に初めて正確に適合できるサイズに達した付近でピークになります。そのサイズを超えてモデルの容量を増やすと、テスト誤差は再び低下し、多くの場合、より小さなモデルが達成した最良の結果を下回ります。
この現象は、単一のU字曲線を予測する教科書的なバイアス・バリアンス・トレードオフの見方を拡張します。モデルがより多くの構造を捉えるにつれて誤差は減少しますが、ノイズの過学習が始まると増加するため、最良のモデルは中間に位置します。現代のニューラルネットワークのような、パラメーター数が非常に多いモデルでは、このU字形は曲線の前半にすぎません。Mikhail Belkinらは2019年に発表した論文でこの現象に名称を付け、同年、HarvardとOpenAIの研究者は、ResNetやTransformerを含む標準的な深層学習モデルにも同じ現象が現れることを示しました。
補間しきい値#
ピークは補間しきい値、つまりトレーニング誤差が初めてゼロになるモデルサイズに位置します。そのサイズのモデルには、すべてのトレーニングデータ点を通過するのにぎりぎりの数のパラメーターしかなく、実質的に解は一つしかありません。ラベルにノイズや誤りがあると、その唯一の解はそれらに適合するために急激に曲がる必要があり、トレーニングデータ点の間で予測が不安定になり、テスト誤差が急上昇します。
しきい値を超えると、さまざまなパラメーター設定がトレーニングデータに完全に適合します。確率的勾配降下法のような勾配ベースのトレーニング手法は、こうした解の中でも最も滑らかなものに収束する傾向があります。線形モデルでは、それは重みが最小の解です。そのため、追加の容量は点と点の間の関数を滑らかにするために使われます。このような単純な解への暗黙の選好があるため、トレーニング例よりはるかに多くのパラメーターを持つネットワークでも、良好な汎化が可能です。
次のスクリプトは、ノイズを加えた40個のトレーニングデータ点に対するランダム特徴量回帰で、この曲線を再現します。各モデルは最小ノルムの最小二乗解に適合し、ランダム特徴量の数がモデルサイズに相当します。
import numpy as np
rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train) # noisy training labels
y_test = x_test @ w
for n_features in [10, 20, 30, 40, 50, 100, 1000]:
proj = rng.normal(size=(dim, n_features))
f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)
# pinv returns the minimum-norm fit once there are more features than examples
coef = np.linalg.pinv(f_train) @ y_train
test_mse = np.mean((f_test @ coef - y_test) ** 2)
print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")テスト誤差は特徴量10個から20個の間で3.37から2.98に低下し、30個では42.12、40個では約3,960まで上昇します。40個ではモデルが40個すべての点を正確に補間できます。その後、特徴量50個では29.01、100個では2.72、1,000個では1.33に低下し、小規模モデルの最良値を大きく下回ります。
モデル単位、エポック単位、サンプル単位#
ダブルディセントは3つの軸で現れます。モデルに関するダブルディセントは典型的な曲線で、トレーニング予算を固定し、ネットワーク幅などのモデルサイズに対するテスト誤差を示します。エポックに関するダブルディセントは、大規模モデルのエポック単位のトレーニング時間に対する誤差を示すため、トレーニングの継続に伴い、検証誤差が改善、悪化、再改善する場合があります。サンプルに関するダブルディセントは、トレーニングセットのサイズに対する誤差を示します。データを増やすとしきい値がより大きなモデル側に移動するため、サイズを固定したモデルでは、データの追加が一時的に性能を悪化させることがあります。
ラベルノイズがあると、3つのパターンはいずれも顕著になります。重み減衰のように適切に調整した正則化と強力なデータ拡張によってピークを縮小または解消できます。そのため、慎重に設定されたトレーニングでは、ピークが目立たないことがよくあります。
関連する2つの現象は、ダブルディセントと混同されやすいものです。グロッキングでは、トレーニング精度が100%に達した後も検証精度が長く偶然水準付近にとどまり、その後急上昇しますが、事前に悪化することはありません。スケーリング則は、パラメーター、データ、計算量を増やした際の大規模モデルの滑らかな性能向上を説明します。これは、補間ピークよりかなり右側の領域です。
ビジョンモデルのトレーニングへの影響#
日々の運用では、エポックごとの推移が特に重要です。トレーニング中に検証指標が低下しても、必ずしも実行がピークに達したことを意味するわけではありません。Ultralytics YOLO26モデルをトレーニングモードでトレーニングする場合、patience引数は、デフォルトでは検証時のfitnessが100エポック連続で向上しなかった場合にのみ実行を終了し、fitnessが最も高いチェックポイントはbest.ptとして保存されるため、一時的な上昇によって実行が終了したり、最良の重みが置き換わったりすることはありません。
ラベルノイズは、モデル単位のピークの鋭さを左右します。HarvardとOpenAIの実験では、CIFAR-10で幅を広げながらトレーニングしたResNet18モデルは、クリーンなラベルを使った場合、補間しきい値付近でテスト誤差が横ばいになるだけでした。ラベルノイズを加えると、その横ばい状態はピークに変わりました。トレーニングラベルの15%をランダム化すると、中規模ネットワークのテスト性能は、幅の狭いモデルと広いモデルの両方を下回りました。










