归一化

归一化是机器学习（ML）和人工智能（AI）中至关重要的数据预处理技术。它涉及将数据集的数值特征转换为通用尺度，而不扭曲其范围内的差异。这种缩放过程对于许多算法的性能和稳定性至关重要，特别是那些对输入值的大小敏感的算法，例如用于训练神经网络（NN）的基于梯度的优化方法。通过确保所有特征按比例贡献于模型的学习过程，归一化有助于加速训练并提高整体模型准确性。

为什么归一化如此重要？

如果没有归一化，具有较大尺度的特征可能会主导模型的学习过程。例如，在用于预测房价的数据集中，像“平方英尺”（例如，1000-3000）这样的特征将比“卧室数量”（例如，2-5）具有更大的范围。这种差异可能会导致像梯度下降这样的算法花费更长的时间来收敛或陷入局部最优。归一化通过将所有特征置于同一水平上来缓解这种情况，从而导致：

• 更快的收敛速度： 模型训练速度更快，因为优化算法可以更有效地浏览损失面。
• 提高的性能： 这对于使用距离度量的算法（例如 k-最近邻 (k-NN)）或依赖梯度更新的算法（例如 卷积神经网络 (CNN)）至关重要。
• 降低数值不稳定性的风险： 它有助于防止 反向传播 过程中出现诸如 梯度爆炸 之类的问题。
• 一致的特征贡献： 它确保没有单个特征因其规模而对模型产生不成比例的影响。这是正确进行特征工程的关键方面。

归一化 vs. 标准化 vs. 批量归一化

归一化和标准化虽然经常互换使用，但它们是不同的技术。同样重要的是要区分数据归一化和 批量归一化。

• 归一化（Min-Max 缩放）： 这种技术将数据缩放到一个固定的范围内，通常是。当数据的分布不是高斯分布，或者当算法不假设任何特定的分布时，它非常有用。这是数据预处理中的一个常见步骤。
• 标准化（Z-score 归一化）： 这种技术将数据重新缩放为平均值为 0，标准差为 1。与最小-最大缩放不同，它没有边界范围。当数据遵循高斯分布时，通常首选标准化，并且它受异常值的影响较小。
• 批量归一化： 这不是数据预处理步骤，而是深度学习模型中使用的一个层。 它在训练期间对每个小批量数据的层输入进行归一化。 这有助于对抗内部协变量偏移，从而稳定和加速深度网络的训练。 它是许多现代架构（包括Ultralytics YOLO模型）中的标准组件，并在PyTorch和TensorFlow等框架中实现。

归一化的应用

归一化是各个领域的标准实践，尤其是在计算机视觉（CV）中。诸如Ultralytics HUB之类的平台简化了工作流程，在这种工作流程中，此类预处理对于训练高性能模型至关重要。

• 图像数据预处理： 在计算机视觉中，图像由像素值组成，通常范围从 0 到 255。在将图像输入模型以执行图像分类或目标检测等任务之前，几乎总是需要对这些像素值进行归一化处理。将其缩放到 [0, 1] 或 [-1, 1] 范围内，可确保 数据集 中所有图像的一致性，这对于 YOLOv8 等模型有效地学习特征至关重要。
• 医学影像分析： 在医疗保健领域的人工智能应用等领域，医学扫描（如 MRI 或 CT）通常来自具有不同设置的不同机器，从而导致不同的强度等级。当使用人工智能进行肿瘤检测时，标准化这些扫描是关键步骤。它可以确保模型的分析在不同的患者和设备之间具有可比性，从而实现更可靠和准确的诊断预测。这是医学影像分析中的一个基本概念。
• 金融领域的预测建模：在构建预测股票价格或评估信用风险的模型时，数据集通常包含具有截然不同尺度的特征，例如交易量（数百万）和市盈率（例如 10-50）。归一化这些特征对于基于距离的算法至关重要，并确保基于梯度的学习不会因具有较大幅度的特征而倾斜，这是金融领域计算机视觉中的常见做法。