YOLOのライセンス
Ultralytics用語集に戻る

Double Descent

ダブルディセントとは、モデルのテスト誤差が低下した後、補間しきい値でピークに達し、その後モデルの規模を拡大するか学習時間を延ばすと再び低下するパターンです。

ダブルディセントとは、モデルの規模を大きくしたり、トレーニングを長くしたりするにつれて、未知のデータに対するモデルの誤差が低下、上昇、再び低下するパターンです。誤差の上昇は、モデルがすべてのトレーニング例に初めて正確に適合できるサイズに達した付近でピークになります。そのサイズを超えてモデルの容量を増やすと、テスト誤差は再び低下し、多くの場合、より小さなモデルが達成した最良の結果を下回ります。

この現象は、単一のU字曲線を予測する教科書的なバイアス・バリアンス・トレードオフの見方を拡張します。モデルがより多くの構造を捉えるにつれて誤差は減少しますが、ノイズの過学習が始まると増加するため、最良のモデルは中間に位置します。現代のニューラルネットワークのような、パラメーター数が非常に多いモデルでは、このU字形は曲線の前半にすぎません。Mikhail Belkinらは2019年に発表した論文でこの現象に名称を付け、同年、HarvardとOpenAIの研究者は、ResNetやTransformerを含む標準的な深層学習モデルにも同じ現象が現れることを示しました。

補間しきい値#

ピークは補間しきい値、つまりトレーニング誤差が初めてゼロになるモデルサイズに位置します。そのサイズのモデルには、すべてのトレーニングデータ点を通過するのにぎりぎりの数のパラメーターしかなく、実質的に解は一つしかありません。ラベルにノイズや誤りがあると、その唯一の解はそれらに適合するために急激に曲がる必要があり、トレーニングデータ点の間で予測が不安定になり、テスト誤差が急上昇します。

しきい値を超えると、さまざまなパラメーター設定がトレーニングデータに完全に適合します。確率的勾配降下法のような勾配ベースのトレーニング手法は、こうした解の中でも最も滑らかなものに収束する傾向があります。線形モデルでは、それは重みが最小の解です。そのため、追加の容量は点と点の間の関数を滑らかにするために使われます。このような単純な解への暗黙の選好があるため、トレーニング例よりはるかに多くのパラメーターを持つネットワークでも、良好な汎化が可能です。

次のスクリプトは、ノイズを加えた40個のトレーニングデータ点に対するランダム特徴量回帰で、この曲線を再現します。各モデルは最小ノルムの最小二乗解に適合し、ランダム特徴量の数がモデルサイズに相当します。

import numpy as np

rng = np.random.default_rng(0)
n_train, dim = 40, 10
w = rng.normal(size=dim)
x_train, x_test = rng.normal(size=(n_train, dim)), rng.normal(size=(2000, dim))
y_train = x_train @ w + rng.normal(size=n_train)  # noisy training labels
y_test = x_test @ w

for n_features in [10, 20, 30, 40, 50, 100, 1000]:
    proj = rng.normal(size=(dim, n_features))
    f_train, f_test = np.maximum(x_train @ proj, 0), np.maximum(x_test @ proj, 0)

    # pinv returns the minimum-norm fit once there are more features than examples
    coef = np.linalg.pinv(f_train) @ y_train
    test_mse = np.mean((f_test @ coef - y_test) ** 2)
    print(f"{n_features:5d} features: test MSE {test_mse:8.2f}")

テスト誤差は特徴量10個から20個の間で3.37から2.98に低下し、30個では42.12、40個では約3,960まで上昇します。40個ではモデルが40個すべての点を正確に補間できます。その後、特徴量50個では29.01、100個では2.72、1,000個では1.33に低下し、小規模モデルの最良値を大きく下回ります。

モデル単位、エポック単位、サンプル単位#

ダブルディセントは3つの軸で現れます。モデルに関するダブルディセントは典型的な曲線で、トレーニング予算を固定し、ネットワーク幅などのモデルサイズに対するテスト誤差を示します。エポックに関するダブルディセントは、大規模モデルのエポック単位のトレーニング時間に対する誤差を示すため、トレーニングの継続に伴い、検証誤差が改善、悪化、再改善する場合があります。サンプルに関するダブルディセントは、トレーニングセットのサイズに対する誤差を示します。データを増やすとしきい値がより大きなモデル側に移動するため、サイズを固定したモデルでは、データの追加が一時的に性能を悪化させることがあります。

ラベルノイズがあると、3つのパターンはいずれも顕著になります。重み減衰のように適切に調整した正則化と強力なデータ拡張によってピークを縮小または解消できます。そのため、慎重に設定されたトレーニングでは、ピークが目立たないことがよくあります。

関連する2つの現象は、ダブルディセントと混同されやすいものです。グロッキングでは、トレーニング精度が100%に達した後も検証精度が長く偶然水準付近にとどまり、その後急上昇しますが、事前に悪化することはありません。スケーリング則は、パラメーター、データ、計算量を増やした際の大規模モデルの滑らかな性能向上を説明します。これは、補間ピークよりかなり右側の領域です。

ビジョンモデルのトレーニングへの影響#

日々の運用では、エポックごとの推移が特に重要です。トレーニング中に検証指標が低下しても、必ずしも実行がピークに達したことを意味するわけではありません。Ultralytics YOLO26モデルをトレーニングモードでトレーニングする場合、patience引数は、デフォルトでは検証時のfitnessが100エポック連続で向上しなかった場合にのみ実行を終了し、fitnessが最も高いチェックポイントはbest.ptとして保存されるため、一時的な上昇によって実行が終了したり、最良の重みが置き換わったりすることはありません。

ラベルノイズは、モデル単位のピークの鋭さを左右します。HarvardとOpenAIの実験では、CIFAR-10で幅を広げながらトレーニングしたResNet18モデルは、クリーンなラベルを使った場合、補間しきい値付近でテスト誤差が横ばいになるだけでした。ラベルノイズを加えると、その横ばい状態はピークに変わりました。トレーニングラベルの15%をランダム化すると、中規模ネットワークのテスト性能は、幅の狭いモデルと広いモデルの両方を下回りました。

ソリューションを見る

スポーツにおけるコンピュータービジョン

スポーツにおけるコンピュータービジョン

Ultralytics YOLOが、選手やボールの追跡、パフォーマンス分析、コーチングへの知見、アスリートのリハビリを通じて、スポーツビジョンをどのように支えるかをご紹介します。
詳しく見る
航空画像向けコンピュータービジョン

航空画像向けコンピュータービジョン

Ultralytics YOLOを使用して、ドローンや航空画像をリアルタイムの知見に変換し、農業、水産養殖、自然保護、地理空間分析に活用できます。
詳しく見る
航空宇宙分野のコンピュータービジョン

航空宇宙分野のコンピュータービジョン

Ultralytics YOLOを活用して航空宇宙分野でコンピュータビジョンを導入し、航空機検査、滑走路上のFOD検出、空港の地上業務、複合材の欠陥検出に活用できます。
詳しく見る
セキュリティ分野のコンピュータービジョン

セキュリティ分野のコンピュータービジョン

Ultralytics YOLOモデルであらゆる施設を保護しましょう。ビジョンAIは、周辺監視、脅威検知、ナンバープレート認識、職場の安全管理を支援します。
詳しく見る
ロボティクス分野のコンピュータービジョン

ロボティクス分野のコンピュータービジョン

Ultralytics YOLOモデルで、よりスマートなマシンを実現しましょう。ロボティクスにおけるビジョンAIは、自律ナビゲーション、認識、物体追跡、リアルタイム制御を支援します。
詳しく見る
物流におけるコンピュータービジョン

物流におけるコンピュータービジョン

Ultralytics YOLOモデルで物流を効率化しましょう。ビジョンAIにより、荷物検査、仕分け、車両追跡、倉庫のリアルタイム安全監視を実現します。
詳しく見る
小売業におけるコンピュータービジョン

小売業におけるコンピュータービジョン

Ultralytics YOLOモデルで小売のあり方を変革しましょう。ビジョンAIにより、在庫追跡、棚の監視、行列管理、より高度な顧客インサイトを実現します。
詳しく見る
医療分野におけるコンピュータービジョン

医療分野におけるコンピュータービジョン

Ultralytics YOLOモデルで医療ソリューションを構築しましょう。医療分野のビジョンAIは、医用画像処理の高速化、より高度な診断、患者モニタリングを実現します。
詳しく見る
製造業におけるコンピュータービジョン

製造業におけるコンピュータービジョン

Ultralytics YOLOモデルで製造を最適化しましょう。ビジョンAIは、品質管理、欠陥検出、PPE準拠、組立ラインの自動化を推進します。
詳しく見る
自動車分野におけるコンピュータービジョン

自動車分野におけるコンピュータービジョン

Ultralytics YOLOモデルで自動車分野にコンピュータービジョンを導入しましょう。ビジョンAIは、道路の安全性、運転支援、車両の自動化を向上させ、よりスマートな道路を実現します。
詳しく見る
農業におけるコンピュータービジョン

農業におけるコンピュータービジョン

Ultralytics YOLOモデルでスマート農業にビジョンAIを導入しましょう。作物のモニタリング、家畜の追跡、精密農業を支援し、より高く効率的な収量を実現します。
詳しく見る

AIの未来を一緒に築きましょう!

機械学習の未来に向けた歩みを始めましょう