ニューラル・アーキテクチャ・サーチ（NAS）

ニューラル・アーキテクチャー・サーチの仕組み

NASの基本プロセスには、3つの主要コンポーネントが含まれる：探索空間、探索戦略、性能推定戦略。探索空間は、設計可能なネットワーク・アーキテクチャの集合を定義するもので、基本的には構成要素（異なるタイプの畳み込み 関数や活性化関数など）とそれらの接続方法の概要を示す。探索戦略は、ランダム探索や強化学習から 進化的アルゴリズムに至るまで、様々な手法を用いてこの空間の探索をガイドする。最後に、性能評価戦略では、候補となるアーキテクチャがどの程度の性能を発揮するかを評価する。多くの場合、データセット上でネットワークを部分的または全体的に学習させ、その性能を測定することになるが、 Google AIの研究で詳述されているように、ウェイト共有や性能予測などのテクニックを用いることで、これを高速化することができる。このような実験を効率的に管理するには、以下のようなプラットフォームが役立ちます。 Weights & BiasesやUltralytics HUBのようなプラットフォームによって促進される。

NASの主な利点

NASによるアーキテクチャ設計の自動化には大きな利点がある：

• 最適化されたパフォーマンス： 物体検出や 画像分類のような特定のタスクに合わせたアーキテクチャを見つけ、多くの場合、精度や効率において手作業で設計されたものを凌駕する。
• 開発期間の短縮：時間がかかり、直感に頼ることが多いアーキテクチャ設計のプロセスを自動化します。
• 新しいアーキテクチャーの発見：人間の設計者が見落としがちな、型にはまらない効果的なネットワーク構造を発見。
• 特定のハードウェアに対する効率性：モバイルデバイス（エッジAI）での低推論レイテンシや、TPUのような特定のアクセラレータなど、導入の制約に合わせてアーキテクチャを最適化できる。

AIと機械学習における応用

NASは、さまざまな深層学習（DL）領域でその価値が証明されている：

NASと関連概念

NASは、より広範な分野である自動機械学習（AutoML）の中の特定のコンポーネントである。NASが最適なニューラルネットワーク・アーキテクチャを見つけることだけに焦点を当てているのに対し、AutoMLはデータ前処理、特徴エンジニアリング、モデル選択、ハイパーパラメータ・チューニングなどのステップを含むMLパイプライン全体の自動化を目指しています。NASとハイパーパラメータチューニングを区別することは極めて重要です。ハイパーパラメータチューニングは、与えられた固定モデルアーキテクチャのコンフィギュレーション設定（学習率や バッチサイズなど）を最適化するのに対し、NASはアーキテクチャそのものを探索します。最適なモデル性能を達成するために、この2つのテクニックはしばしば併用される。Ultralytics YOLO モデルと統合するOptunaや Ray Tuneのようなツールは、ハイパーパラメータの最適化によく使われている。これらの違いを理解することは、効率的なAIシステムを構築するために適切な自動化技術を適用するのに役立ちます。ハイパーパラメーターチューニングの詳細については、Ultralytics ドキュメントをご覧ください。