超参数调优

超参数调优是为机器学习 (ML)模型寻找最佳配置设置的过程。这些设置（称为超参数）位于模型外部，无法在训练过程中直接从数据中学习。相反，它们是在训练开始之前设置的，用于控制训练过程本身的行为。有效地调整这些超参数是最大限度地提高模型性能并确保其能够很好地泛化到新的、未见过的数据的关键步骤。如果没有适当的调整，即使是最先进的模型架构也可能表现不佳。

超参数调优 vs. 相关概念

区分超参数调优和机器学习中的其他关键概念非常重要：

• 优化算法: 优化算法，如 Adam 或 随机梯度下降 (SGD)，是调整模型内部参数（权重和偏差）的引擎，在训练期间最小化 损失函数。相比之下，超参数调优涉及选择最佳外部设置，甚至可以包括优化算法本身的选择。
• 神经架构搜索 (NAS): 虽然超参数调整优化了给定模型结构的设置，但NAS自动执行模型架构本身的设计，例如确定层数和类型。两者都是自动机器学习 (AutoML)的形式，并且经常一起使用以构建最佳模型。
• 模型参数： 这些是模型的内部变量，例如神经网络中的权重和偏差，这些变量通过反向传播从训练数据中学习而来。 超参数是控制这些参数如何学习的更高级别设置。

常用调整方法和超参数

从业者使用多种策略来找到最佳超参数值。常见的方法包括网格搜索（它详尽地尝试指定值的每个组合）、随机搜索（它随机抽样组合）以及更高级的方法，如贝叶斯优化和进化算法。

一些最常调整的超参数包括：

• 学习率：控制模型权重相对于损失梯度调整的幅度。
• 批大小：一次迭代中使用的训练样本数。
• Epochs数量： 整个训练数据集通过模型的次数。
• 数据增强 强度: 应用于训练数据的转换程度，例如旋转、缩放或颜色偏移。Albumentations库是实现此目的的常用工具。

实际应用

超参数调优应用于各个领域，以实现最佳性能：

• 医学图像分析: 当训练用于肿瘤检测的模型时，调整超参数（如学习率计划、数据增强设置和损失函数权重）对于在特定的医学数据集上实现高检测精度至关重要。这对于可靠的医疗保健人工智能解决方案至关重要，并且是一个持续研究的主题。
• 自动驾驶汽车：自动驾驶汽车中的目标检测模型需要仔细调整。优化输入图像分辨率、非极大值抑制 (NMS)阈值和锚框配置等超参数可确保系统能够以低延迟可靠地检测行人和障碍物，从而实现安全导航。这种调整对于Waymo等公司至关重要，并有助于实现强大的汽车人工智能解决方案。

Ultralytics 的超参数调优

Ultralytics 提供的工具可以简化超参数调整，以实现 Ultralytics YOLO 模型。 Ultralytics Tuner 类，记录在 超参数调优指南，使用进化算法自动执行该过程。与诸如以下平台集成： Ray Tune 提供了更强大的分布式和高级搜索策略，帮助用户针对特定数据集（如 COCO）和任务。用户可以利用诸如 Ultralytics HUB 用于简化实验跟踪和管理，这通常是遵循最佳实践的关键部分 模型训练。流行的开源库，例如 Optuna 和 Hyperopt 也被广泛应用于机器学习社区。