ハイパーパラメータチューニング

ハイパーパラメータチューニングとは、機械学習（ML）モデルに最適な構成設定を見つけるプロセスです。ハイパーパラメータとして知られるこれらの設定は、モデルの外部にあり、トレーニングプロセス中にデータから直接学習することはできません。代わりに、トレーニングが開始される前に設定され、トレーニングプロセス自体の動作を制御します。これらのハイパーパラメータを効果的に調整することは、モデルのパフォーマンスを最大化し、新しい未知のデータにうまく一般化できるようにするための重要なステップです。適切なチューニングを行わないと、最先端のモデルアーキテクチャであっても、パフォーマンスが低下する可能性があります。

ハイパーパラメータのチューニングと関連概念

機械学習におけるハイパーパラメータ調整を、他の主要な概念と区別することが重要です。

• 最適化アルゴリズム: Adamや確率的勾配降下法（SGD）のような最適化アルゴリズムは、モデルの内部パラメータ（重みとバイアス）を調整して損失関数を最小化するエンジンです。対照的に、ハイパーパラメータ調整では、最適な外部設定を選択します。これには、最適化アルゴリズム自体の選択も含まれる場合があります。
• ニューラルアーキテクチャ探索（NAS）： ハイパーパラメータのチューニングは特定のモデル構造の設定を最適化しますが、NASはレイヤーの数や種類を決定するなど、モデルアーキテクチャ自体の設計を自動化します。どちらも自動機械学習（AutoML）の形式であり、可能な限り最高のモデルを構築するために一緒に使用されることがよくあります。
• モデルパラメータ: これらはモデルの内部変数であり、ニューラルネットワークにおける重みやバイアスなどが該当し、バックプロパゲーションを通じてトレーニングデータから学習されます。ハイパーパラメータは、これらのパラメータがどのように学習されるかを制御する、より高レベルの設定です。

一般的なチューニング手法とハイパーパラメータ

最適なハイパーパラメータの値を見つけるために、いくつかの戦略が用いられます。一般的な手法としては、指定された値のすべての組み合わせを網羅的に試すグリッドサーチ、組み合わせをランダムにサンプリングするランダムサーチ、そしてベイズ最適化や進化的アルゴリズムのようなより高度な手法があります。

最も頻繁に調整されるハイパーパラメータには、次のものがあります。

• 学習率: 損失勾配に関して、モデルの重みがどれだけ調整されるかを制御します。
• バッチサイズ：1回のイテレーションで使用されるトレーニング例の数。
• エポック数: トレーニングデータセット全体がモデルを通過する回数。
• データ拡張強度： 回転、スケーリング、色のシフトなど、トレーニングデータに適用される変換の程度。Albumentationsライブラリは、これによく使用されるツールです。

実際のアプリケーション

ハイパーパラメータチューニングは、最高のパフォーマンスを達成するために、さまざまな分野で適用されます。

• 医用画像解析： 腫瘍検出のためにモデルをトレーニングする場合、学習率のスケジュール、データ拡張の設定、損失関数の重みなどのハイパーパラメータを調整することは、特定の医療データセットで高い検出精度を達成するために重要です。これは、信頼性の高いヘルスケアにおけるAIソリューションに不可欠であり、継続的な研究の対象となっています。
• 自動運転車： 自動運転車における物体検出モデルには、注意深い調整が必要です。入力画像解像度、Non-Maximum Suppression (NMS)の閾値、アンカーボックス構成などのハイパーパラメータを最適化することで、システムが歩行者や障害物を低遅延で確実に検出し、安全なナビゲーションを実現します。この調整はWaymoのような企業にとって非常に重要であり、堅牢な自動車向けAIソリューションに貢献します。

Ultralyticsによるハイパーパラメータのチューニング

Ultralyticsは、ハイパーパラメータ調整を簡素化するツールを提供します。 Ultralytics YOLO モデル。 Ultralytics Tuner クラスに記載されています。 詳細については、ハイパーパラメータチューニングのガイドは、進化アルゴリズムを使用してプロセスを自動化します。次のようなプラットフォームとの統合。 Ray Tune は、分散型および高度な検索戦略のためのさらなる機能を提供し、ユーザーが特定のデータセット（のような）に対してモデルを効率的に最適化するのに役立ちます。 COCO）およびタスク。ユーザーは、次のようなプラットフォームを活用できます。 Ultralytics HUB 実験の効率的な追跡と管理のため。これは、ベストプラクティスに従う上で重要な要素となることがよくあります。 モデルのトレーニングのような一般的なオープンソースライブラリは、 Optuna そして Hyperopt この目的のために、MLコミュニティでも広く利用されています。