YOLO Vision 2025にご期待ください！
2025年9月25日
10:00 — 18:00（英国夏時間）
ハイブリッドイベント
ドロップアウト層が、汎化、ロバスト性、およびモデルのパフォーマンスを向上させることにより、ニューラルネットワークにおける過学習をどのように防ぐかをご紹介します。
ドロップアウトレイヤーは、過学習に対抗するためにニューラルネットワーク（NN）で使用される強力でありながらシンプルな正則化手法です。過学習は、モデルがトレーニングデータとそのノイズや特異性を含めて過度に学習し、新しい、見えないデータに一般化する能力を損なう場合に発生します。Geoffrey Hintonとその同僚によって2014年の画期的な論文で紹介されたドロップアウトの背後にある中心的なアイデアは、各トレーニングステップ中にニューロンとその接続をランダムに「ドロップアウト」、つまり一時的に削除することです。これにより、ニューロンが互いに過度に依存することを防ぎ、ネットワークがより堅牢で冗長な表現を学習することを強制します。
モデルトレーニングプロセス中、ドロップアウトレイヤーは、前のレイヤーのニューロンの活性化をランダムにゼロに設定します。「ドロップアウト率」は、ニューロンがドロップされる確率を定義するハイパーパラメータです。たとえば、ドロップアウト率が0.5の場合、各ニューロンは特定のトレーニングイテレーション中に無視される確率が50％であることを意味します。このプロセスは、重みを共有する多数のシンネットワークをトレーニングすると考えることができます。
ネットワークアーキテクチャを常に変更することにより、dropoutは、ニューロンの出力がいくつかの特定の他のニューロンの存在に大きく依存する、複雑な共適応を防ぎます。代わりに、各ニューロンは、より独立して有用な特徴検出器となるように促されます。テストまたは推論フェーズでは、dropoutレイヤーはオフになり、すべてのニューロンが使用されます。トレーニング中よりもアクティブなニューロンが多いため、レイヤーの出力はdropout率で縮小されます。これにより、各ニューロンからの期待される出力が、トレーニングとテストの間で一貫性が保たれます。PyTorchやTensorFlowなどのフレームワークは、dropoutレイヤーの実装でこのスケーリングを自動的に処理します。
ドロップアウトは、人工知能（AI）と機械学習（ML）のさまざまな分野で広く使用されています。
ドロップアウトは、深層学習における正則化に使用されるいくつかの手法の1つです。他の手法には以下のようなものがあります。
まとめると、ドロップアウトレイヤーは、高度なコンピュータビジョンからNLPまで、さまざまなアプリケーションにわたって堅牢な深層学習モデルをトレーニングするために不可欠な、シンプルでありながら強力な正則化テクニックです。
