微调数据清洗要避免错误答案、格式不一致与样本泄漏。重复样本增加体积,却不一定提供新的任务信息。
检查来源与许可
明确数据能否用于训练,移除个人身份和密钥。把自动生成样本与人工认可样本区分,错误样本不靠改写掩盖。
清理冲突答案
同类输入给出不同结论时,核实业务条件是否不同。条件缺失就补充输入或删除样本,不能任意挑一个答案。
划分评估数据
先去重再切分,来自同一文档或会话的相近样本保持分组。记录清洗规则与删除数量,便于复现训练结果。
清洗时保留业务含义
去重不能删掉条件不同的相似样本;价格单位、否定词与例外条款需要特别复核。
按来源和时间检查数据污染,用独立评估集验证清洗效果,而非只看剩余样本数量。
例如两条相似售后样本适用不同保修条件,不能因文字相近去重成一条,需保留业务差异。
相关阅读:大模型微调与RAG:数据、成本和方案取舍。