神经架构搜索 (NAS)

神经网络架构搜索（NAS）是自动化机器学习（AutoML）领域中一项精密技术，能够自动设计人工神经网络。传统上，构建高性能深度学习（DL）架构需要大量的人工专业知识、直觉判断以及耗时的试错过程。 NAS通过算法策略取代了这一人工流程，系统性地探索海量网络拓扑结构，从而为特定任务发现最优架构。通过测试不同层级与运算组合，NAS能够识别出在准确率、计算效率或推理速度方面显著优于人工设计的模型架构。

NAS的核心机制

发现更优架构的过程通常涉及三个相互作用的基本维度，以寻找最佳神经网络（NN）：

1. 搜索空间：该概念定义了算法可探索的所有可能架构集合。它如同构建模块的库，包含卷积滤波器、池化层及各类激活函数等元素。一个界定明确的搜索空间能有效控制复杂度，在确保搜索在计算上可行的同时，为创新保留足够的灵活性。
2. 搜索策略：与逐一测试所有可能性（暴力搜索）不同，神经架构搜索（NAS）采用智能算法高效探索搜索空间。常见方法包括强化学习——代理通过时间推移学习生成更优架构；以及进化算法——通过变异和组合顶尖模型来培育更优候选方案。
3. 性能评估策略：从头开始训练每个候选网络效率极低。为加速这一过程，神经架构搜索（NAS）采用评估技术——例如缩短训练epoch 数、使用低分辨率代理数据集或采用权重共享——以快速评估候选架构的潜力。

实际应用

在硬件限制或性能要求严格的行业中，NAS已成为关键技术，不断推动计算机视觉（CV）及其他人工智能领域的边界拓展。

• 高效边缘计算：在移动设备上部署人工智能需要同时具备轻量级和高速处理能力的模型。神经搜索（NAS）被广泛用于发现诸如MobileNetV3和EfficientNet等架构，这些架构在保持高精度的同时最大限度地降低了推理延迟。这对边缘人工智能应用至关重要，例如智能摄像头或自主无人机上的实时视频分析。
• 医学影像：在医学图像分析中，准确性至关重要。神经自适应系统能够定制网络以detect X光或MRI扫描中的detect 异常，常能发现人类工程师可能忽略的新颖特征提取途径。这使得识别脑肿瘤或骨折等病症的工具更可靠，且具有更高的敏感度。

NAS与相关概念

要理解NAS的具体作用，将其与类似的优化技术区分开来会有所帮助：

• NAS与超参数调优：虽然两者都涉及优化， 但超参数调优侧重于调整 固定架构的配置参数（如学习率或 批量大小）。 相比之下，NAS改变的是模型本身的根本结构，例如层数或神经元连接方式。
• NAS与迁移学习： 迁移学习采用现有的预训练模型， 并调整其权重以适应新任务。 NAS则在训练开始前从零构建模型架构（或搜索更优的骨干网络）。

利用NAS衍生模型

虽然执行完整的NAS搜索需要GPU 资源，但开发者可以轻松使用通过NAS创建的模型。例如，YOLO架构正是运用这些搜索原则优化物体检测任务而发现的。

以下Python 如何加载并使用预先训练的 NAS 模型： ultralytics 包装

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

对于希望在避免NAS复杂性的前提下训练尖端模型的用户Ultralytics 提供开箱即用的高度优化架构，融合了研究领域的最新进展。Ultralytics 您可轻松管理这些模型的数据集、训练及部署流程，从而简化整个机器学习运维（MLOps）生命周期。