术语表

神经架构搜索(NAS)

了解神经架构搜索 (NAS) 如何自动进行神经网络设计,以优化物体检测、人工智能等方面的性能。

使用Ultralytics HUB 对YOLO 模型进行简单培训

了解更多

神经架构搜索(NAS)是机器学习(ML)领域中的一种自动化技术,专注于设计神经网络(NN)的最佳结构或架构。NAS 不依赖人类专家通过试验和错误来手动设计网络布局,而是采用算法来探索广阔的可能架构空间,并为给定任务和数据集找出最有效的架构。这种自动化加速了开发过程,并能发现新颖、高性能的架构,而这些架构对于人类设计师来说可能并不直观,同时还能优化准确性、速度(推理延迟)或计算效率等指标,这对于在边缘人工智能设备上部署模型至关重要。

神经架构搜索如何工作

NAS 的基本流程包括三个主要部分:搜索空间、搜索策略和性能评估策略。搜索空间定义了可以设计的一系列可能的网络架构,基本上概括了构建模块(如不同类型的卷积激活函数)及其连接方式。搜索策略使用随机搜索、强化学习进化算法等各种方法来指导对这一空间的探索。最后,性能评估策略是对候选架构的性能进行评估,通常包括在数据集上对网络进行部分或全部训练,并对其性能进行测量,不过也会使用权重共享或性能预测器等技术来加快这一过程, Google 人工智能的研究对此进行了详细说明。高效管理这些实验可以通过以下平台来实现 Weights & BiasesUltralytics HUB 等平台可以帮助高效管理这些实验。

NAS 的主要优势

利用 NAS 实现架构设计自动化具有显著优势:

  • 优化性能:找到为物体检测图像分类等特定任务定制的架构,其准确性或效率往往超过人工设计的架构。
  • 缩短开发时间:将耗时且往往以直觉为导向的架构设计过程自动化。
  • 发现新结构:发现人类设计师可能忽略的非常规但有效的网络结构。
  • 针对特定硬件的效率:可针对部署限制优化架构,如在移动设备(边缘人工智能)或TPU 等特定加速器上实现低推理延迟

人工智能和机器学习的应用

事实证明,NAS 在各种深度学习 (DL)领域都很有价值:

1.优化的物体检测模型

一个突出的例子是YOLO,由 Deci AI利用 NAS 技术开发的。该模型专门针对以前的 Ultralytics YOLO版本中的局限性,将通过 NAS 发现的量化友好区块纳入其中。这使得模型在准确性和延迟之间实现了出色的平衡,从而使其在汽车解决方案中的人工智能和智能交通管理等实时应用中非常有效,甚至在将模型量化为 INT8 等格式以实现高效部署之后也是如此。有关量化技术的更多信息,请参阅NVIDIA TensorRT 文档Ultralytics 模型部署选项指南等资源。Ultralytics 支持各种对象检测模型,包括YOLO。

2.医学图像分析

在医疗保健领域,NAS 可用于设计用于分析医疗图像的定制卷积神经网络(CNN)。例如,NAS 可以针对磁共振扫描中的肿瘤检测(类似于脑肿瘤数据集)或 CT 图像中的器官分割等任务优化架构,从而为临床医生提供更快、更准确的诊断工具。正如美国国立卫生研究院(NIH)等机构所强调的那样,人工智能在医学图像分析中的应用是一个快速发展的领域。使用Ultralytics HUB 等平台可以简化对此类专业模型和数据集的管理。您甚至可以使用YOLO11 进行肿瘤检测

NAS 和相关概念

NAS 是自动机器学习(AutoML)这一更广泛领域中的一个特定组件。NAS 专注于寻找最佳神经网络架构,而 AutoML 则旨在自动化整个 ML 管道,包括数据预处理特征工程、模型选择和超参数调整等步骤。区分 NAS 和超参数调优至关重要:超参数调优是针对给定的固定模型架构优化配置设置(如学习率批量大小),而 NAS 则是搜索架构本身。这两种技术通常一起使用,以达到最佳模型性能。Optuna或与Ultralytics YOLO 模型集成的Ray Tune 等工具是超参数优化的常用工具。了解这些区别有助于应用正确的自动化技术来构建高效的人工智能系统。您可以在Ultralytics 文档中了解有关超参数调整的更多信息。

阅读全部