用語集

ハイパーパラメーターのチューニング

Ultralytics YOLOのようなMLモデルを最適化するためのハイパーパラメータチューニングをマスターします。専門家のテクニックで精度、スピード、パフォーマンスを向上させます。

ハイパーパラメータ最適化としても知られるハイパーパラメータチューニングは、機械学習(ML)における基本的なプロセスであり、モデルの性能を最大化するためのハイパーパラメータの最適な組み合わせを見つけることを目的としている。ハイパーパラメータは、バックプロパゲーションのような技術によって学習中に学習されるモデルパラメータ(ニューラルネットワークにおける重みやバイアスなど)とは異なり、学習プロセスを開始する前に設定される構成設定である。これらの外部設定を調整することは、学習プロセスそのものを制御し、モデルがデータからいかに効果的に学習し、新しい未知の例に対していかに汎化するかに影響するため、非常に重要である。

ハイパーパラメータを理解する

ハイパーパラメータは、モデルの複雑さや学習速度など、より高いレベルの特性を定義する。一般的な例としては、最適化アルゴリズムで使用される学習率、モデルパラメータを更新する前に処理されるサンプル数を決定するバッチサイズ、ニューラルネットワークの層数、またはドロップアウト層を使用するような正則化テクニックの強さなどがあります。ハイパーパラメータの選択はモデルの結果に大きく影響する。不適切な選択は、モデルが単純すぎてデータパターンを捉えられないアンダーフィッティングや、モデルがノイズを含めて訓練データを学習しすぎてテストデータに汎化できないオーバーフィッティングを引き起こす可能性がある。

ハイパーパラメータのチューニングが重要な理由

効果的なハイパーパラメータのチューニングは、高性能なMLモデルを構築するために不可欠である。うまくチューニングされたモデルは、精度が向上し、学習中の収束が速くなり、未知のデータでの汎化が改善されます。Ultralytics YOLOのようなモデルを使った物体検出のような複雑なタスクでは、最適なハイパーパラメータを見つけることで、平均平均精度(mAP)や推論速度のようなパフォーマンス指標を劇的に改善することができます。目標は、バイアスと分散のトレードオフのようなトレードオフをナビゲートして、与えられた問題とデータセットに対するスイートスポットを見つけることです。

ハイパーパラメータ調整のテクニック

最適なハイパーパラメータ値を探索するために、いくつかの戦略が存在する:

  • グリッド・サーチ指定されたハイパーパラメータ値のすべての可能な組み合わせを網羅的に試す。単純だが計算量が多い。
  • ランダム探索指定された分布からハイパーパラメータの組み合わせをランダムにサンプリングする。多くの場合、グリッド探索よりも効率的。
  • ベイズ最適化目的関数(モデルの精度など)の確率モデルを構築し、それを使って次に評価する有望なハイパーパラメータを選択する。Optunaのようなツールがこれにあたる。
  • 進化アルゴリズム突然変異やクロスオーバーのような生物学的進化に着想を得た概念を使用して、ハイパーパラメーターセットの集団を繰り返し改良します。Ultralytics YOLOモデルは、ハイパーパラメーターの進化にこれを活用しています。

Weights & Biases SweepsClearMLCometKerasTunerなどのツールは、これらのチューニング・プロセスの自動化と管理を支援し、多くの場合、PyTorchや TensorFlowなどのフレームワークと統合される。

ハイパーパラメーターのチューニングと関連概念

ハイパーパラメータのチューニングを、関連するMLの概念と区別することは重要である:

  • モデルのトレーニングハイパーパラメータのチューニングは、学習の条件(学習率、バッチサイズなど)を設定する。モデル学習は、選択されたハイパーパラメータと最適化アルゴリズムを用いて、データに基づいてモデルのパラメータ(重みとバイアス)を学習するプロセスです。
  • 最適化アルゴリズム(AdamSGD):これらのアルゴリズムは、学習中に損失関数に基づいてモデルのパラメータを更新する。ハイパーパラメータはこれらのアルゴリズム(例えば学習率)を制御するが、チューニングプロセス自体はアルゴリズムの動作とは別である。
  • 正則化L1/L2正則化やドロップアウトのようなテクニックは、オーバーフィッティングを防ぐのに役立つ。これらのテクニックのさや割合は、それ自体チューニングが必要なハイパーパラメータである。
  • 自動機械学習(AutoML)特徴エンジニアリング、モデル選択、ハイパーパラメータチューニングを含むMLパイプライン全体の自動化を目指す、より広範な分野。HPTは多くの場合、AutoMLシステムの重要なコンポーネントである。

実世界での応用

ハイパーパラメータのチューニングは様々な領域で適用される:

ウルトラリティクスによるハイパーパラメータのチューニング

Ultralyticsは、YOLOモデルのハイパーパラメータチューニングを簡素化するツールを提供します。その ウルトラリティクス Tuner クラスに記録されている。 ハイパーパラメータ調整ガイド進化的アルゴリズムを用いてプロセスを自動化。以下のようなプラットフォームとの統合 レイ・チューン のような)特定のデータセットに対して効率的にモデルを最適化することができます。 COCOのようなリソースを使用するタスクがある。 ウルトラリティクス・ハブ 実験の追跡と管理のために以下に続く モデルトレーニングのヒント 多くの場合、効果的なハイパーパラメータのチューニングを伴う。

Ultralyticsコミュニティに参加する

AIの未来に参加しませんか。世界のイノベーターとつながり、協力し、成長する

今すぐ参加する
クリップボードにコピーされたリンク