Neural Architecture Search (NAS)

Neural Architecture Search (NAS) は、人工ニューラルネットワークの設計を自動化する Automated Machine Learning (AutoML) の領域における洗練された手法です。従来、高性能な deep learning (DL) アーキテクチャのエンジニアリングには、豊富な人間の専門知識、直感、そして時間のかかる試行錯誤が必要でした。NAS は、この手動プロセスを、特定のタスクに最適な構造を発見するために膨大な範囲のネットワークトポロジを体系的に探索するアルゴリズム戦略に置き換えます。レイヤーと演算子のさまざまな組み合わせをテストすることにより、NAS は accuracy、計算効率、または推論速度の面で人間の設計したモデルを大幅に上回るアーキテクチャを特定できます。

NASの主要メカニズム#

優れたアーキテクチャを発見するプロセスには、通常、最適な neural network (NN) を見つけるために相互作用する3つの基本的な次元が含まれます。

1. Search Space: これは、アルゴリズムが探索できるすべての可能なアーキテクチャのセットを定義します。convolution フィルター、プーリングレイヤー、さまざまな activation functions などのビルディングブロックのライブラリのように機能します。適切に定義されたサーチスペースは、計算上の実行可能性を維持しながら、イノベーションのための十分な柔軟性を確保するために複雑さを制限します。

2. Search Strategy: すべての可能性をテストする（総当たり）代わりに、NAS はインテリジェントなアルゴリズムを採用してサーチスペースを効率的にナビゲートします。一般的なアプローチには、エージェントが時間をかけてより優れたアーキテクチャを生成することを学習する reinforcement learning や、最高性能のモデルを突然変異および結合して優れた候補を繁殖させる evolutionary algorithms が含まれます。

3. Performance Estimation Strategy: すべての候補ネットワークを最初からトレーニングすることは、法外に遅いです。これを加速するために、NAS は、少ない epochs でのトレーニング、低解像度のプロキシデータセットの使用、または weight sharing の採用などの推定技術を使用して、候補アーキテクチャの潜在能力を素早くランク付けします。

実社会での応用#

NAS は、ハードウェアの制約やパフォーマンスの要件が厳しい業界において不可欠なものとなっており、computer vision (CV) およびその他の AI ドメインの境界を押し広げています。

• Efficient Edge Computing: モバイルデバイスへの AI のデプロイには、軽量で高速なモデルが必要です。NAS は、高精度を維持しながら inference latency を最小限に抑える MobileNetV3 や EfficientNet のようなアーキテクチャを発見するために広く使用されています。これは、スマートカメラでのリアルタイムビデオ分析や自律型ドローンなどの edge AI アプリケーションにとって不可欠です。
• Medical Imaging: medical image analysis では、精度が最も重要です。NAS は、X 線や MRI スキャン内の微妙な異常を検出するようにネットワークを調整でき、人間のエンジニアが見落とす可能性のある新しい特徴抽出パスを見つけることがよくあります。これにより、brain tumors や骨折などの症状を高感度で特定するための信頼性の高いツールが実現します。

NASと関連コンセプトの比較#

NASの具体的な役割を理解するために、類似の最適化手法と区別するとわかりやすくなります。

• NAS vs. Hyperparameter Tuning: どちらも最適化を伴いますが、hyperparameter tuning は、固定された アーキテクチャに対する設定（learning rate や batch size など）の調整に焦点を当てています。対照的に、NAS はレイヤー数やニューロンの接続方法など、モデル自体の基本構造を変更します。
• NAS vs. Transfer Learning: Transfer learning は、既存の事前トレーニング済みモデルを取得し、その重みを新しいタスクに適応させます。NAS は、トレーニングが開始される前に、モデルアーキテクチャを最初から作成する（またはより良い backbone を検索する）かします。

NAS由来モデルの活用#

完全な NAS 検索を実行するには多大な GPU computing resources が必要ですが、開発者は NAS を介して作成されたモデルを簡単に使用できます。たとえば、YOLO-NAS アーキテクチャは、object detection タスク向けに最適化するためにこれらの検索原則を使用して発見されました。

次の Python の例は、ultralytics パッケージを使用して、事前に検索された NAS モデルをロードして使用する方法を示しています。

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

NAS の複雑さなしに最先端のモデルをトレーニングしたい人向けに、Ultralytics YOLO26 は、最新の研究の進歩を取り入れて、すぐに使用できる高度に最適化されたアーキテクチャを提供します。MLOps ライフサイクル全体を簡素化する Ultralytics Platform を使用して、これらのモデルのデータセット、トレーニング、およびデプロイを簡単に管理できます。