大模型微调模型训练

什么是大模型微调？

用通俗方式解释 CPT、SFT、DPO 的作用、训练指标，以及什么情况下值得采用微调方案。

本文说的微调是指在通用大模型的基础上进行模型调优的过程。

核心目标：让大模型更好地适应某个具体任务或领域，提升其在该场景下的性能、准确性和可靠性。

通用大模型的训练过程：初始模型→预训练→预训练模型（学会了词和词之间的关系）→微调→微调模型（学会了怎么组织语言回答用户）→人类偏好调优RLHF→通用模型（学会了回答用户喜欢的答案）。
通用模型的3种微调方式：
- CPT继续预训练：扩充模型的知识面，补充通用模型在特定领域的知识缺陷。
- SFT微调训练：让模型学会如何回答用户问题，如何执行定向的任务。
- DPO偏好调优训练：通过学习什么是好的回答&不好的回答，让模型理解人类偏好。

大模型微调方式

可以扩充模型的知识面，补充通用模型在特定领域的知识缺陷，比如医疗、法律、生物等。

训练数据：

注意：

完成CPT后，还需要继续进行微调和人类偏好调优，才能获得可用的微调模型。

完整的流程应该是：通用大模型→CPT→SFT→(可选但推荐)人类偏好调优。

原因是CPT本身通常是无监督的，它并没有直接教导模型如何执行具体的任务或遵循特点的指令格式。

让模型学会如何回答用户问题，如何执行定向的任务。

训练数据：

微调方式：

注意：训练时增加通用的对话语料进行训练，避免基础模型能力的遗失，导致模型只会回答领域的问题（过拟合风险）。

通过学习什么是好的回答&不好的回答，让模型理解人类偏好。

训练数据：

DPO的训练方式比在提示词中给出负面案例的效果更好。

因为大模型在处理负面指令时，模型的注意力机制可能会导致「越不让它怎么样，反而会越怎么样」。

而DPO通过学习人类偏好，从根本上调整模型行为，使其学会生成符合要求的输出，而非仅仅规避负面案例。

对比维度	CPT继续预训练	SFT微调训练	DPO偏好训练
训练目标	补充领域知识	制定特定任务/指令	对齐人类偏好
监督方式	无监督	有监督（标注数据）	有监督（偏好排序）
数据形式	纯文本	指令-回答对	问题+正/负面回答对
典型应用	医疗/法律等垂直领域的知识增强	客服/任务型对话	内容安全性/回答质量优化

指标含义：模型在验证集上的表现。
指标目的：考察非原题，每学习一轮数据，对比模型答案和标准答案间的差距（评估大模型的泛化能力）。
期望效果：应该越来越小，表明模型理解了知识本身，对没学过的知识也能很好回答。如果训练损失持续下降而验证损失开始上升，说明出现过拟合了，需要增加训练语料的丰富程度。

指标含义：模型在验证集上，针对特定任务的性能指标。
- 对于分类任务，直接用准确率很直观。
- 对于生成任务（如摘要、翻译），则会使用ROUGE、BLEU等指标，
- 对于问答任务，会使用EM、F1等。
指标目的：直接反映模型是否达到你的微调目标，模型在实际任务上的表现如何。

在考虑微调前，需要想清楚微调的目的是什么？微调的话是否有数量足够多的、质量足够高的训练数据集？

非必要情况，建议不要做微调！

因为微调对数据集数量质量要求比较高，且微调模型会可能出现过拟合、灾难性遗忘等风险。

所以有限考虑是否有替代方案，如下：

哪些任务适合用微调：

文章目录10 个章节