用語集

ハイパーパラメーターのチューニング

Ultralytics YOLOのようなMLモデルを最適化するためのハイパーパラメータチューニングをマスターします。専門家のテクニックで精度、スピード、パフォーマンスを向上させます。

ハイパーパラメータ最適化としても知られるハイパーパラメータチューニングは、機械学習（ML）における基本的なプロセスであり、モデルの性能を最大化するためのハイパーパラメータの最適な組み合わせを見つけることを目的としている。ハイパーパラメータは、バックプロパゲーションのような技術によって学習中に学習されるモデルパラメータ（ニューラルネットワークにおける重みやバイアスなど）とは異なり、学習プロセスを開始する前に設定される構成設定である。これらの外部設定を調整することは、学習プロセスそのものを制御し、モデルがデータからいかに効果的に学習し、新しい未知の例に対していかに汎化するかに影響するため、非常に重要である。

ハイパーパラメータを理解する

ハイパーパラメータは、モデルの複雑さや学習速度など、より高いレベルの特性を定義する。一般的な例としては、最適化アルゴリズムで使用される学習率、モデルパラメータを更新する前に処理されるサンプル数を決定するバッチサイズ、ニューラルネットワークの層数、またはドロップアウト層を使用するような正則化テクニックの強さなどがあります。ハイパーパラメータの選択はモデルの結果に大きく影響する。不適切な選択は、モデルが単純すぎてデータパターンを捉えられないアンダーフィッティングや、モデルがノイズを含めて訓練データを学習しすぎてテストデータに汎化できないオーバーフィッティングを引き起こす可能性がある。

ハイパーパラメータのチューニングが重要な理由

効果的なハイパーパラメータのチューニングは、高性能なMLモデルを構築するために不可欠である。うまくチューニングされたモデルは、精度が向上し、学習中の収束が速くなり、未知のデータでの汎化が改善されます。Ultralytics YOLOのようなモデルを使った物体検出のような複雑なタスクでは、最適なハイパーパラメータを見つけることで、平均平均精度（mAP）や推論速度のようなパフォーマンス指標を劇的に改善することができます。目標は、バイアスと分散のトレードオフのようなトレードオフをナビゲートして、与えられた問題とデータセットに対するスイートスポットを見つけることです。

ハイパーパラメータ調整のテクニック

最適なハイパーパラメータ値を探索するために、いくつかの戦略が存在する：

グリッド・サーチ：指定されたハイパーパラメータ値のすべての可能な組み合わせを網羅的に試す。単純だが計算量が多い。
ランダム探索：指定された分布からハイパーパラメータの組み合わせをランダムにサンプリングする。多くの場合、グリッド探索よりも効率的。
ベイズ最適化：目的関数（モデルの精度など）の確率モデルを構築し、それを使って次に評価する有望なハイパーパラメータを選択する。Optunaのようなツールがこれにあたる。
進化アルゴリズム：突然変異やクロスオーバーのような生物学的進化に着想を得た概念を使用して、ハイパーパラメーターセットの集団を繰り返し改良します。Ultralytics YOLOモデルは、ハイパーパラメーターの進化にこれを活用しています。

Weights & Biases Sweeps、ClearML、Comet、KerasTunerなどのツールは、これらのチューニング・プロセスの自動化と管理を支援し、多くの場合、PyTorchや TensorFlowなどのフレームワークと統合される。