深圳Yolo 视觉
深圳
立即加入
词汇表

批次大小

了解批量大小如何影响机器学习训练速度和准确性。探索硬件限制,并使用AutoBatch优化Ultralytics 。

机器学习领域,尤其是深度学习中批量大小指每次模型训练迭代中使用的训练样本数量。 由于内存限制,通常无法将全部训练数据一次性输入神经网络, 因此数据集会被划分为称为批次的较小子集。 模型处理一个批次后,会计算误差并通过反向传播更新内部模型权重, 随后才处理下一个批次。 该超参数对训练速度和学习过程的稳定性具有决定性影响。

批量训练的动态特性

批量大小的选择从根本上改变了优化算法(通常是随机梯度下降的变体)在损失函数空间中的探索方式。

  • 小批量训练:使用较小的批量大小(例如8或16)会导致更新过程产生"噪声"。虽然梯度估计对整个数据集的准确性较低,但这种噪声有时能帮助模型逃离局部最优解,从而可能获得更好的泛化能力。然而,较小的批量需要每个 epoch 进行更多次更新,由于额外开销,这会导致实际训练时间变慢。
  • 大批量:较大的批量(例如128或256)能提供更精确的梯度估计,从而使损失函数收敛更平滑。它支持在现代硬件上进行大规模并行计算,显著加快运算速度。 然而,若批量过大,模型可能陷入局部最优的尖锐极小值,导致过拟合并降低对新数据的泛化能力。

硬件与内存影响

实践者通常需要根据硬件限制而非纯粹理论偏好来选择批量大小。 深度学习模型——尤其是变压器或高级卷积网络等大型架构——存储在显存中。 GPU

在使用 NVIDIA CUDA 进行加速时,显存必须同时容纳 模型参数、输入数据批次以及梯度计算所需的中间激活输出。若 批次大小超过可用内存,训练将因"内存不足"(OOM)错误而崩溃。 混合精度训练等技术常被 用于降低内存占用,从而在相同硬件上支持更大的批次规模。

区分相关概念

要有效配置训练,必须区分训练循环中批量大小与其他时间参数。

  • 批量大小与 epoch:一个 epoch 代表对整个训练数据集的完整遍历。批量大小决定了数据该 epoch被分割成多少个数据块。例如,若拥有 1,000 张图像且批量大小为 100,则需 10 次迭代才能完成一个 epoch。
  • 批量大小与迭代次数: 一次迭代(或步骤)是指处理一个批次并更新权重的过程。训练中的总迭代次数 等于每个 epoch 的批次数乘以 epoch 的总数。
  • 批量大小与批归一化: 尽管名称相似,批归一化是一种特定的层类型,它根据当前批次的均值和方差对层输入进行归一化处理。该技术高度依赖批量大小;若批量过小(例如2),统计估计将变得不可靠,可能导致性能下降。

实际应用

在不同行业部署计算机视觉解决方案时,调整批处理规模是常规必需操作。

  1. 高保真医学影像:医疗健康领域的人工智能应用中,从业者常需处理MRI或CT扫描等三维体积数据。这类文件数据密度极高且对内存需求巨大。 为避免系统崩溃,工程师在执行医学影像分析复杂图像分割等任务时,常将批处理规模缩减至极小数值,有时甚至仅处理单张图像。此时的优先级在于处理高分辨率细节,而非追求原始训练速度。
  2. 工业质量控制:反之,在制造业中,速度至关重要。自动化系统在传送带上检测产品时,每小时需处理数千张图像。在推理过程中,工程师可能将传入的摄像头数据聚合为更大批次,以最大化边缘AI设备的利用率,确保实时缺陷检测的高吞吐量。

在Python中配置批处理大小

使用时 Ultralytics Python 软件包设置批处理大小 操作非常简单。您可以指定固定整数值,或使用动态 batch=-1 设置,该设置利用 的 自动批处理功能 自动计算 硬件可安全处理的最大批处理量。

以下示例演示了如何使用特定批处理设置训练 YOLO26模型——该模型是当前速度与准确性方面的最新标准。

from ultralytics import YOLO

# Load the YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Train on the COCO8 dataset
# batch=16 is manually set.
# Alternatively, use batch=-1 for auto-tuning based on available GPU memory.
results = model.train(data="coco8.yaml", epochs=5, batch=16)

对于管理大规模实验并可视化不同批量大小对训练指标的影响,Ultralytics 提供了全面的环境来记录和比较运行结果。对批量大小进行恰当的超参数调优,通常是榨取模型最佳性能的最后一步。

加入Ultralytics 社区

加入人工智能的未来。与全球创新者联系、协作和共同成长

立即加入