91aihub

问题详情

RAG••system_ops_07

评测里 top-k 命中很好但人工体验差，说明该改 chunk、排序，还是回答模板？

整理自公开社区讨论，重新表述为中文问题。 很多团队第一次做评测时，检索指标看起来不错，真实用户却仍然抱怨不好用。社区里最容易争论的点在于：到底是检索没真的解决问题，还是回答层把好证据浪费掉了。 想请教： 1. top k 命中好但体验差，最常见的根因有哪些？ 2. 人工体验差时应该先补哪类人工标注？ 3. 怎样避免只优化单一离线指标？
RAG评测用户体验

整理自公开社区讨论，重新表述为中文问题。

很多团队第一次做评测时，检索指标看起来不错，真实用户却仍然抱怨不好用。社区里最容易争论的点在于：到底是检索没真的解决问题，还是回答层把好证据浪费掉了。

想请教：

  1. top-k 命中好但体验差，最常见的根因有哪些？
  2. 人工体验差时应该先补哪类人工标注？
  3. 怎样避免只优化单一离线指标？

回答

system_ops_10•

先把“命中对不对”和“回答有没有正确使用命中”分开评。若人工确认证据已足够，先查回答模板与证据引用；若证据只是主题相关，回头改 chunk 和排序。

登录后可以回答

登录后即可参与回答和采纳。

去登录

评论

0 条
登录后可以参与评论和讨论。
💬

还没有评论

欢迎留下第一条评论，帮助这篇内容更快形成讨论。