Double Descent

ダブルディセントとは、モデルの容量が増すにつれて、未知データに対する誤差が減少、増加、再び減少する機械学習のパターンです。直感的には、モデルは改善する前に性能が悪化することがあります。中程度の複雑さのモデルは汎化に苦労する一方、はるかに大きなモデルは、訓練データの例に適合しながら、新しい例も正確に予測できる場合があります。

ダブルディセントの仕組み#

よく知られたバイアス・バリアンスのトレードオフでは、誤差曲線はU字型になると考えられています。単純なモデルは重要なパターンを捉えられず、アンダーフィットします。複雑さを増すと当初は予測が改善しますが、柔軟性が高すぎると、特定の訓練データの例に予測が左右されやすくなります。ダブルディセントは、誤差のピークを越えた後にもう一度改善するという見方を加えるものであり、バイアスとバリアンスの根本的な違いを否定するものではありません。(scikit-learn.org)

転換点となるのは補間しきい値です。これは、モデルがすべての訓練データの例に適合できるようになる、すなわち訓練誤差をほぼゼロにできる点です。このしきい値付近では、ノイズのあるラベルや誤ったラベルに適合することで、予測が不安定になる場合があります。この点を超えると、過剰パラメーター化モデルは例に適合するために必要な以上の柔軟性を持ち、複数の解が得られるようになります。汎化性能は解によって異なります。(openai.com)

散在する測定点を結ぶことを考えてみてください。ある曲線はすべての点を通りますが、その間で急激に曲がります。別の曲線もすべての点に適合しながら、ほかの場所ではより滑らかに振る舞います。このダブルディセントの視覚的な解説は、訓練時の性能が同じでも、予測の振る舞いが大きく異なる場合がある理由を示しています。容量が大きければ、より優れた解が可能になりますが、訓練によって必ずその解が見つかるとは限りません。(mlu-explain.github.io)

バリエーションと関連概念#

モデル単位のダブルディセントは、ネットワークの幅を広げるなど、容量の変化に関するものです。エポック単位のダブルディセントは訓練期間に関するもので、ホールドアウトデータの誤差が改善、悪化した後、再び改善します。エポックとは、訓練データセット全体を1回処理することです。ディープダブルディセントの解説では、データセットのサイズを変えると補間しきい値が移動し、固定したモデルサイズで一時的に性能が悪化する場合もあることが示されています。これは、有用なデータを捨てる理由にはなりません。(openai.com)

ダブルディセントは、汎化性能を犠牲にして訓練データ固有の詳細に適合することを指す過学習とは異なります。過学習は曲線が上昇する部分を説明できますが、ダブルディセントは減少、増加、再び減少するという、より広いパターンを説明します。訓練精度が完璧であることだけでは、汎化性能の良し悪しは判断できません。(scikit-learn.org)

また、学習済みの解に制約を加える訓練手法である正則化とも異なります。たとえば、L2正則化では、大きな重みにペナルティを課します。そのため、パラメーター数だけではモデルの実効的な複雑さを十分に表せません。ラベルノイズ、最適化、訓練設定によって、顕著なダブルディセント曲線が現れるかどうかが変わります。(developers.google.com)

実際のアプリケーション#

次の例は、すべての本番モデルにこの現象が現れるとは限らないことを踏まえつつ、なぜこの現象が重要なのかを示しています。

• 製造業の欠陥検出： チームが、部品の傷を検出するネットワークを比較しています。中規模のネットワークでは、より小規模なモデルや大規模なモデルの両方より誤警報が多くなる場合があります。繰り返し評価した結果、ダブルディセントが確認された場合、最初に性能が悪化した時点でモデルの比較を終えると、より優れた検査システムを見逃す可能性があります。
• 小売業の商品在庫認識： 棚画像の分類器が、一貫性のない商品ラベルに直面しています。訓練中、検証誤差は再び減少する前に上昇する場合があります。増加が見られた時点で実験をすべて終了すると、その後の改善を見逃す可能性があります。一方、考えずに訓練を延長すると、リソースを無駄にする可能性があります。チェックポイントを比較すれば、こうした可能性を見分けやすくなります。

実践的な評価と訓練#

1回の期待外れな実行結果だけで判断せず、条件を統制した比較でパターンを確認してください。モデルの容量または訓練期間を個別に変更し、比較可能なデータ分割を維持したうえで、異なる乱数シードを使って実験を繰り返します。検証曲線の考え方に基づき、訓練誤差とホールドアウト誤差を一緒にプロットしてください。誤差ではなく精度をプロットする場合、曲線の方向は逆になります。(scikit-learn.org)

適切な場合は交差検証を使い、最終評価用に一切使用していないテストセットを確保してください。評価データの情報が訓練やモデル選択に入り込むデータリークを防いでください。早期終了も引き続き有用ですが、改善がないまま許容する評価回数を示す忍耐度は、想定した曲線の形ではなく、実験の目的に合わせて設定してください。(scikit-learn.org)

Ultralytics YOLOの実践的な評価ワークフローでは、ultralyticsをpip install ultralyticsでインストールします。この例ではYOLO26、ドキュメント化された訓練モード、および検証モードを使用します。(docs.ultralytics.com)

from ultralytics import YOLO

if __name__ == "__main__":
    model = YOLO("yolo26n.pt")

    # A small dataset keeps this workflow demonstration lightweight.
    model.train(data="coco8.yaml", epochs=3)

    # Evaluate images held out from training.
    metrics = model.val(data="coco8.yaml")
    print(f"Validation mAP50-95: {metrics.box.map:.3f}")

出力は、検出のIoUしきい値全体にわたる平均適合率です。値が高いほど優れています。COCO8はワークフローを確認するためのデータセットであり、ダブルディセントの証拠ではありません。この現象を確認するには、代表性のあるデータを用いて、より広範な条件統制実験を行う必要があります。モデルを大きくしたり、訓練を長くしたりすれば必ず良くなる、あるいは悪くなると決めつけず、汎化性能を測定することが実践上の教訓です。(docs.ultralytics.com)