微调应解决输出格式、专业表达或任务判断的稳定性问题。需要随时更新的知识，更适合检索或业务接口，不能指望训练后的模型自动知道最新价格。

先建立基线

保留一组未参与训练的真实问题，比较提示词、检索和微调的结果。没有基线，无法判断增加训练成本是否有价值。

组织训练样本

输入与目标答案采用一致结构，删除个人信息、互相矛盾的答案与重复样本。按业务来源划分训练集和评估集，防止同一道题泄漏到两边。

控制上线范围

记录模型版本与数据版本，在少量流量上比较错误率和人工修改时间。质量下降时能切回原模型，而不是覆盖唯一可用版本。

样本量之外还要看一致性

同类输入如果对应相互矛盾的标准答案，增加训练数据会放大冲突。先统一标注规则。

评估集加入不同部门的问法与无答案问题，分别比较格式稳定性和事实正确性，不用训练题验收。

例如训练题全是固定问法，评估时加入简称、错别字和否定条件，检查模型是否学到任务规则。

相关阅读：大模型微调与RAG：数据、成本和方案取舍。