只看最终回答,你最多知道“这次答得好不好”;但你很难知道“为什么会这样”。
retrieval trace 和 query log 的长期价值,在于把黑盒结果拆回可优化的链路:用户问了什么、检索了什么、排在前面的证据是什么、最后引用了什么。
没有这些轨迹,常见问题是:
- 你分不清是检索错、重排错、拼装错,还是生成错
- 同类失败无法聚类
- 数据质量优化没有抓手
至少值得保留的粒度通常包括:原始 query、归一化 query、候选结果、最终入 prompt 的证据、回答引用来源。没有这些链路,优化只剩“看着调”,很难形成真正的质量闭环。