微调

微调是机器学习（ML）的一项核心技术，它是指将在大型通用数据集上预先训练好的模型，在较小的专用数据集上进一步训练。这一过程是迁移学习的一种形式，它可以调整模型的学习知识，使其在特定任务中表现出色，而无需从头开始训练模型。通过从一个强大的基础模型开始，开发人员可以用更少的数据和计算资源实现高性能，斯坦福人工智能实验室等机构也在探索这一概念。

微调工作原理

这一过程从一个模型开始，该模型的权重已经在一个广泛的数据集上进行了优化，如视觉模型的ImageNet或大型语言模型 (LLM) 的海量文本语料库。这种预训练模型已经能够理解一般特征，如图像中的边缘和纹理，或文本中的语法和语义。然后，在为目标应用定制的自定义数据集上继续进行微调训练，通常使用较低的学习率。这将调整模型参数，使其专门用于新任务的特定细微差别。PyTorch和TensorFlow等框架为实施微调工作流提供了广泛的工具。

实际应用

微调技术广泛应用于计算机视觉 (CV)和自然语言处理 (NLP )。

• 医学图像分析：像Ultralytics YOLO11 这样的模型，在COCO 数据集上进行过一般物体检测的预训练，可以在磁共振成像扫描的专业集合上进行微调，以准确检测肿瘤。这种定制化对于构建可靠的人工智能医疗解决方案至关重要。
• 定制聊天机器人：企业可以根据内部文档和客户支持日志对BERT等强大的 LLM 进行微调。由此产生的模型将成为公司产品方面的专家，从而为公司网站提供高效且能感知上下文的聊天机器人。Hugging Face 等平台上就有许多这样的模型。

微调与相关概念

必须将微调与其他模型适应技术区分开来：

• 从零开始训练：这包括用随机权重初始化神经网络，并在数据集上对其进行训练。这需要大量的数据和计算能力（如GPU），效率通常低于微调预训练模型。
• 参数高效微调（PEFT）：PEFT 是一系列方法的集合，代表了微调技术更节约资源的发展。PEFT 技术（如LoRA）不更新模型的所有权重，而是冻结原始模型，只训练少量新参数。这大大降低了对内存和存储的要求，从而更容易调整Meta AI 或谷歌等公司的大型模型。
• 即时调整：一种特定的 PEFT 方法，所有原始模型权重都被冻结。它不是调整模型本身，而是学习特殊的 "软提示"（可训练的嵌入），将其添加到输入中，引导模型针对特定任务进行输出。
• 检索增强生成（RAG）：这种技术通过在推理时提供外部知识来增强模型的输出，而不是通过训练来改变模型的权重。RAG 从数据库中检索相关信息，并将其添加到提示中，从而生成更准确、更及时的响应。

利用超级分析技术进行微调

Ultralytics 简化了针对定制应用微调其最先进的YOLO模型的过程。用户可以轻松加载预训练的权重，并开始在自己的数据集上进行图像分类、检测或分割等任务的训练。Ultralytics HUB平台进一步简化了这一工作流程，为管理数据集、训练模型和最终部署提供了集成解决方案。为了获得最佳性能，微调通常与仔细的超参数调整相结合。