SFT(Supervised Fine-Tuning,监督微调)是一种基于监督学习(Supervised Learning)的模型微调方法。
核心思想是:在预训练模型的基础上,利用具有明确输入与目标输出的标准数据集,通过最小化模型预测结果与目标输出之间的损失函数,更新模型参数,使模型适应特定任务与目标行为。
回忆:损失函数Loss Function是一个用于量化模型预测结果与目标输出之间差异的数学函数。损失值越小,表示预测结果越符合训练目标。不同的任务可以选择不同的损失函数。大语言模型中通常使用交叉熵损失(Cross-Entropy Loss)。