神经架构搜索（NAS）

神经架构搜索（NAS）是一种自动设计人工神经网络（NN）的技术。传统上，设计高性能的模型架构需要大量的专业知识和反复试验。NAS 利用算法探索各种可能的网络设计，并为给定任务和数据集确定最佳架构，从而将这一复杂过程自动化。这种自动化加速了高效、强大的深度学习模型的开发，使高级人工智能更容易获得。

神经架构搜索如何工作

NAS 流程可分为三个主要部分：

1. 搜索空间：它定义了可设计的所有可能架构的集合。搜索空间可以很简单，指定层类型（如卷积、池化）及其连接的选择，也可以很复杂，允许设计新颖的架构图案。定义明确的搜索空间对于平衡灵活性和计算可行性至关重要。
2. 搜索策略：这是用于探索搜索空间的算法。早期的方法使用随机搜索，但后来出现了更复杂的策略。常见的方法包括强化学习和进化算法，前者是让代理学会选择最佳架构，后者则是模仿自然选择，通过一代代 "进化 "出更好的架构。基于梯度的方法（如可微分架构搜索（DARTS）中的方法）也因其高效性而广受欢迎。
3. 性能评估策略：该部分用于评估每个拟议架构的质量。最直接的方法是在数据集上对模型进行全面训练并测量其性能，但这非常耗时。为了加快这一过程，研究人员开发出了更高效的技术，如使用更小的数据集、减少训练历时或使用权重共享来避免从头开始训练每个架构。

应用与实例

事实证明，NAS 在为各种任务创建最先进的模型方面非常有效，其性能和效率往往超过人类设计的架构。

• 计算机视觉:NAS 广泛用于设计高效的物体检测和图像分类架构。例如，EfficientNet 系列模型就是利用 NAS 系统地平衡网络深度、宽度和分辨率而开发的。同样，DAMO-YOLO等模型利用 NAS 生成的骨干网，在物体检测的速度和准确性之间实现了很好的平衡。
• 医学影像分析:在医疗保健领域，NAS 可为扫描中的肿瘤检测或细胞结构分割等任务创建专用模型。NAS 可以优化架构，以便在医疗设备中的专用硬件上高效运行，从而实现更快、更准确的诊断。这对于改善医疗保健领域的人工智能具有巨大潜力。

NAS 和相关概念

NAS 是自动化机器学习（AutoML）这一更广泛领域中的一个特定组件。NAS 专注于寻找最佳神经网络架构，而 AutoML 则旨在实现整个 ML 管道的自动化，包括数据预处理、特征工程、模型选择和超参数调整等步骤。

区分 NAS 和超参数调优至关重要：超参数调优是针对给定的固定模型架构优化配置设置（如学习率或批量大小），而 NAS 则是搜索架构本身。这两种技术通常一起使用，以达到最佳模型性能。Optuna或与Ultralytics YOLO 模型集成的Ray Tune 等工具是超参数优化的常用工具。了解这些区别有助于应用正确的自动化技术来构建高效的人工智能系统。您可以在 Ultralytics 文档中了解有关超参数调整的更多信息。