集成

集成方法是 机器学习 (ML) 中一项强大的技术，它将多个单独的模型组合起来，以生成一个单一的、更优越的预测模型。其核心思想是通过聚合多个模型的“智慧”，最终预测将比任何单个组成模型的预测更准确、更稳定和更可靠。这种方法类似于寻求来自不同领域专家组的建议；集体决策通常优于任何单个专家的意见。这些技术在减少 过拟合 和提高模型在未见数据上的泛化能力方面非常有效。

集成如何工作

集成学习包括两个主要步骤：训练一组不同的基础模型，然后组合它们的预测结果。基础模型之间的多样性至关重要；如果所有模型都犯了相同的错误，则集成不会带来任何改进。这种多样性可以通过使用不同的算法、在不同的 训练数据 子集上进行训练或使用不同的 超参数 来实现。

模型训练完成后，它们的预测结果会被聚合。对于分类任务，这通常通过投票机制完成（例如，获得最多票数的类别获胜）。对于回归任务，预测结果通常会被平均。由此产生的组合模型通常表现出更好的性能，这一概念在 孔多塞陪审团定理 中进行了探讨。

常见的集成技术

存在几种用于创建有效集成模型的常用方法：

• Bagging（Bootstrap Aggregating，自助聚集）：此技术涉及在训练数据的不同随机子集上训练多个模型（例如，决策树）。随机森林算法是 bagging 的一种众所周知的实现。
• Boosting： 模型按顺序训练，每个新模型都侧重于纠正其前任所犯的错误。 著名的 Boosting 算法包括 AdaBoost、Gradient Boosting、XGBoost 和 LightGBM。
• 堆叠（堆叠泛化）： 这种方法涉及训练几个不同的模型（基础学习器），并使用另一个机器学习模型（元学习器）来学习如何最好地组合它们的预测。
• 投票和平均： 这些是最简单的方法，其中最终预测是所有模型中的多数投票（硬投票）或预测概率的平均值（软投票）。Ultralytics YOLO 模型通过其模型集成功能支持一种平均形式。

实际应用

集成方法广泛应用于对 准确性 要求极高的关键应用中：

1. 医学影像分析： 在肿瘤检测等任务中，可以使用卷积神经网络 (CNN)的集成。每个 CNN 都可以根据医学扫描的不同子集或使用不同的架构进行训练。通过组合它们的输出，系统可以实现更可靠和准确的诊断，从而降低医学影像等应用中出现假阴性或假阳性的风险。
2. 自主系统： 对于自动驾驶汽车，可靠的目标检测至关重要。集成模型可能会结合不同的模型，例如 YOLOv8 和 YOLO11，或者使用不同的数据增强策略训练的模型。这种方法降低了单个模型无法检测到行人或障碍物的风险，从而形成更强大的感知系统。

集成与相关概念

区分集成方法与其他相关概念很有用：

• 模型集成： 此术语通常与“集成”互换使用。虽然“集成”指的是通用技术，但模型集成通常指的是组合特定训练模型实例的实际实现。其基本原理是相同的。
• 混合专家模型 (MoE)： 虽然两者都使用多个模型，但其机制不同。集成模型组合所有模型的预测结果来处理每个输入。相比之下，混合专家 (MoE)模型使用门控网络动态选择最适合特定输入的“专家”模型，每次预测仅使用一部分模型。

虽然集成增加了模型训练和部署的复杂性和计算开销，但性能的提升通常证明了成本的合理性。Ultralytics HUB等平台可以简化使用PyTorch或TensorFlow等框架构建的多个模型的管理，从而简化了强大集成的创建。