Regularization

正则化是一系列用于机器学习的技术，旨在防止模型变得过于复杂，并提高其对全新的、未见数据进行泛化的能力。在训练过程中，模型会努力通过学习训练数据中的复杂模式来最小化误差。然而，如果没有约束，模型可能会开始记忆噪声和异常值——这是一个被称为过拟合的问题。正则化通过向模型的损失函数添加惩罚项来解决此问题，有效地抑制了极端的参数值，并强制算法学习更平滑、更稳健的模式。

Link to this section核心概念与技术#

正则化的原则常被比作奥卡姆剃刀，暗示最简单的解决方案通常是正确的。通过约束模型，开发者可以确保它专注于数据中最重要的特征，而不是偶然的相关性。

在现代深度学习框架中，有几种常用的方法来实现正则化：

• L1 和 L2 正则化： 这些技术添加了基于模型权重大小的惩罚项。L2 正则化，也称为岭回归或权重衰减，会对大权重进行严厉惩罚，鼓励它们变得更小且分散。L1 正则化，或套索回归，可以将一些权重驱动为零，从而有效地执行特征选择。
• Dropout： 特别用于神经网络，dropout 层会在训练过程中随机停用一定比例的神经元。这会强制网络开发用于识别特征的冗余路径，确保没有单一神经元成为特定预测的瓶颈。
• 数据增强： 虽然主要是预处理步骤，但数据增强充当了强大的正则化器。通过使用图像的修改版本（旋转、翻转、颜色偏移）人为地扩展数据集，模型接触到了更多的变异性，防止其记忆原始的静态示例。
• 早停法： 这涉及在训练期间监控模型在验证数据上的表现。如果验证误差开始增加而训练误差下降，则会停止该过程，以防止模型学习噪声。

Link to this section实际应用#

在数据变异性高的各个行业中，部署可靠的 AI 系统时，正则化是必不可少的。

1. 自动驾驶：在汽车 AI 解决方案中，计算机视觉模型必须在各种天气条件下检测行人及交通标志。如果没有正则化，模型可能会记住训练集中特定的光照条件，而在现实世界中失效。诸如权重衰减之类的技术可以确保检测系统能够很好地泛化到雨、雾或眩光中，这对于自动驾驶汽车的安全性至关重要。

2. 医学影像：在进行医学图像分析时，由于隐私问题或病症的稀有性，数据集的大小往往有限。过拟合在这里是一个重大风险。正则化方法有助于训练模型以检测 X 光或 MRI 中的异常，并确保其在新的患者数据上保持准确，从而支持医疗 AI 中更好的诊断结果。

Link to this section在 Python 中的实现#

Modern libraries make applying regularization straightforward via hyperparameters. The following example demonstrates how to apply dropout and weight_decay when training the YOLO26 model.

from ultralytics import YOLO

# Load the latest YOLO26 model
model = YOLO("yolo26n.pt")

# Train with regularization hyperparameters
# 'dropout' adds randomness, 'weight_decay' penalizes large weights to prevent overfitting
model.train(data="coco8.yaml", epochs=100, dropout=0.5, weight_decay=0.0005)

管理这些实验并追踪不同的正则化值如何影响性能，可以通过 Ultralytics Platform 轻松处理，该平台提供了用于记录和比较训练运行的工具。

Link to this section正则化与相关概念#

将正则化与其他优化和预处理术语区分开来很有帮助：

• 正则化 vs. 归一化：归一化涉及将输入数据缩放到标准范围以加速收敛。虽然像批归一化这样的技术可能会产生轻微的正则化效果，但其主要目的是稳定学习动态，而正则化则是显式地惩罚复杂性。
• 正则化 vs. 超参数调优：正则化参数（如 dropout 率或 L2 惩罚项）本身就是超参数。超参数调优是搜索这些设置的最佳值的更广泛过程，通常是为了平衡偏差-方差权衡。
• 正则化 vs. 集成学习：集成方法结合了来自多个模型的预测，以减少方差并提高泛化能力。虽然这达到了与正则化类似的目标，但它是通过聚合不同的模型来实现的，而不是通过约束单个模型的学习。