微调 (Fine-tuning)

微调是机器学习 (ML)中的一项核心技术，它指的是在一个大型通用数据集上预训练的模型，然后在较小的专用数据集上进一步训练。这个过程是一种迁移学习，它使模型能够调整其已学习的知识，从而在特定任务中表现出色，而无需从头开始训练模型。通过从强大的基础模型开始，开发人员可以用更少的数据和计算资源来实现高性能，斯坦福人工智能实验室等机构对这一概念进行了探索。

微调如何工作

该过程从一个模型开始，该模型的权重已经在广泛的数据集（例如用于视觉的 ImageNet 或用于大型语言模型 (LLM) 的海量文本语料库）上进行了优化。这个预训练模型已经理解了一般特征——例如图像中的边缘和纹理或文本中的语法和语义。然后，微调继续训练过程，通常在自定义数据集上使用较低的学习率，该数据集是为目标应用程序量身定制的。这会调整模型的参数，使其专门用于新任务的特定细微差别。PyTorch 和 TensorFlow 等框架提供了广泛的工具来实现微调工作流程。

实际应用

微调广泛应用于计算机视觉 (CV)和自然语言处理 (NLP)。

• 医学图像分析: 像 Ultralytics YOLO11 这样的模型，在 COCO 数据集上预训练用于通用对象检测，可以在专门的 MRI 扫描集合上进行微调，以准确检测肿瘤。这种定制对于构建可靠的 医疗保健人工智能 解决方案至关重要。
• 自定义聊天机器人： 企业可以在其内部文档和客户支持日志上微调强大的大型语言模型（LLM），如BERT。由此产生的模型将成为公司产品的专家，从而为其网站提供高效且具有上下文感知能力的聊天机器人。许多此类模型都可以在Hugging Face等平台上找到。

微调 vs. 相关概念

区分微调与其他模型适配技术非常重要：

• 从头开始训练： 这涉及使用随机权重初始化神经网络，并在数据集上对其进行训练。它需要大量的数据和计算能力（例如，GPU），并且通常不如微调预训练模型有效。
• 参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）：PEFT 是一系列方法的集合，代表了微调的一种更节省资源的方式。PEFT 技术（如 LoRA）不是更新模型的所有权重，而是冻结原始模型，仅训练少量新参数。这大大降低了内存和存储需求，从而更容易调整来自 Meta AI 或 Google 等组织的超大型模型。
• Prompt Tuning（提示调优）: 一种特定的 PEFT 方法，其中所有原始模型权重都被冻结。它不是调整模型本身，而是学习特殊的“软提示”（可训练的嵌入），这些提示被添加到输入中，以指导模型针对特定任务的输出。
• 检索增强生成 (RAG): 这种技术通过在推理时提供外部知识来增强模型输出，而不是通过训练来改变模型的权重。RAG 从数据库中检索相关信息，并将其添加到提示中，以生成更准确和最新的响应。

使用 Ultralytics 进行微调

Ultralytics 简化了针对自定义应用微调其最先进的 YOLO 模型的过程。用户可以轻松加载预训练权重，并开始在自己的数据集上进行训练，以执行图像分类、检测或分割等任务。Ultralytics HUB 平台进一步简化了此工作流程，提供了一个集成解决方案，用于管理数据集、训练模型以及最终部署。为了获得最佳性能，微调通常与仔细的超参数调整相结合。