ニューラルアーキテクチャ探索（NAS）

ニューラル・アーキテクチャ・サーチ（NAS）は、自動機械学習（AutoML）の分野における高度な技術である。 自動機械学習（AutoML） 人工ニューラルネットワークの設計を自動化する 人工ニューラルネットワークの設計を自動化する。従来は 高性能なアーキテクチャを設計するには、深い専門知識と膨大な手作業による試行錯誤が必要でした。NAS は、アルゴリズムを使って膨大な数の可能なネットワーク・トポロジーを系統的に探索することで、このプロセスに革命をもたらします。 トポロジーを系統的に探索し、精度や効率といった性能指標を最大化する最適な構造を探索する。 最適な構造を探索します。この自動化は ディープラーニングモデルの開発を加速するだけでなく ディープラーニング・モデルの開発を加速させるだけでなく、以下のような最先端のAIへのアクセスを民主化する。 ネットワーク設計における人間の直感への依存を減らすことで、最先端のAIへのアクセスを民主化する。

NASのコア・コンポーネント

NASのプロセスは、一般的に次の3つの基本的な構成要素で構成される。 モデル・アーキテクチャを発見する：

1. 探索空間：これは、アルゴリズムが探索できるすべての可能なアーキテクチャの集合を定義する。これは 層のタイプ（例えば コンボリューション、プーリング）、活性化関数、およびそれらの接続方法など、基本的な構成ブロックを指定する。 を指定する。うまく設計された探索空間は、複雑さを制限し、結果として得られるモデルの実現可能性を保証するので、極めて重要である。 を保証するからである。
2. 検索戦略：これは、検索空間をナビゲートするために使用される方法である。総当りの代わりに のようなインテリジェントな戦略を採用する。 強化学習 進化的アルゴリズム、または 勾配ベースの手法（DARTSなど）。これらの戦略は これらの戦略は、以前の反復からのフィードバックに基づいて、より有望なアーキテクチャへと探索を導きます。
3. 性能推定戦略：すべての候補アーキテクチャをゼロからトレーニングして評価するのは、計算コストがかかる。 は計算コストがかかる。これを高速化するために、NASはウェイト共有、データのサブセットでの訓練、少ないエポックでの訓練などの推定戦略を使用する。 のような推定戦略を使用する。これにより により、アルゴリズムは候補を迅速にランク付けし、最も有望な設計にリソースを集中させることができる。

実際のアプリケーション

NASは、現代のAIにおいて最も効率的で強力なモデルのいくつかを生み出すのに貢献してきた。

• コンピュータビジョン：物体検出 オブジェクト検出や 画像分類のようなタスクにおいて、NASは 人間が設計したものを凌駕するアーキテクチャを生み出している。NASの EfficientNetファミリー はその典型的な例であり、NASを使用してベースライン・ネットワークを見つけ、それを大幅に少ないパラメータで最先端の精度を達成するようにスケールアップした。 にスケールアップされた。同様に YOLOモデルは、これらの原理を利用して、スピードと精度の両方を最適化する。 最適化している。
• エッジAIとモバイル展開：NASは、エッジコンピューティングに合わせた軽量モデルの設計に広く使用されている。 エッジコンピューティングに適した軽量モデルの設計に広く使用されています。ハードウェア レイテンシや消費電力などの のような)ハードウェア制約を探索目的に直接組み込むことで、NASはパフォーマンスを犠牲にしすぎることなく、モバイルデバイス上で効率的に動作するアーキテクチャを発見することができます。 デバイス上で効率的に動作するアーキテクチャを、性能を犠牲にすることなく発見できる。これは 自律走行車やIoTのアプリケーションにとって極めて重要です。

NAS対ハイパーパラメーターのチューニング

ニューラル・アーキテクチャ・サーチとハイパーパラメータ・チューニングを区別することは重要である。 ハイパーパラメータ・チューニングと区別することが重要である。 最適化を含むが、モデルの異なる側面を対象とするからである。

• ニューラル・アーキテクチャ・サーチ（NAS）は、ニューラル・ネットワーク自体の最適な構造を見つけることに重点を置く。 つまり、層の数、演算のタイプ、ニューロン間の接続を決定する。
• ハイパーパラメータ・チューニングは、学習率や学習速度など、固定されたアーキテクチャのコンフィギュレーション設定を最適化することに重点を置いている。 最適化に焦点を当てる、 バッチサイズ、オプティマイザタイプなどである。

NASが "脳 "の構造を構築する一方で、ハイパーパラメーター・チューニングは、その脳に最も効果的な学習方法を教える。 を教える。可能な限り最良の結果を得るために、AutoMLパイプラインではこの2つが併用されることが多い。

NAS由来モデルの使用

完全なNASプロセスを実行するのはリソースを大量に消費する可能性がありますが、開発者は、NASを使用して発見された、事前に訓練されたモデルを簡単に活用することができます。 開発者は、NASを使用して発見された事前学習済みモデルを簡単に活用することができます。Ultralytics ライブラリは、以下のような最適化されたアーキテクチャのロードと実行をサポートしています。 YOLO最適化されたアーキテクチャのロードと実行をサポートしており、ユーザーはNAS研究の恩恵を受けることができます。 を利用することができます。

次の例は、Python使用して NAS 由来のモデルをロードする方法を示しています：

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model discovered via architecture search
model = NAS("yolo_nas_s.pt")

# Display the model's architecture information
model.info()

# Validate the model's performance on the COCO8 dataset
metrics = model.val(data="coco8.yaml")