本文要点

建立真实业务任务集，同时评估资料引用、回答完整性、运行稳定性、权限遵循和业务效果。发现问题后区分知识、检索、提示词与流程原因，再复测改进。

先建立真实任务集

从员工每天遇到的真实问题中收集测试样本，覆盖常见问题、边界问题、资料冲突和无法回答的情况。测试集要随着业务变化持续更新。

五个指标一起看

  • 回答是否引用正确资料
  • 是否完整覆盖用户需要的信息
  • 多次运行结果是否稳定
  • 是否遵守权限和人工确认规则
  • 是否真正节省时间或减少错误

评估结果要回到工作流

发现问题后，要判断是资料、检索、提示词、权限还是流程设计的问题。把结果记录下来，才能形成可持续的优化闭环。

落地建议：先评估一个明确场景，例如产品问答、售后知识或销售资料整理。