RAG 评测集应该跟产品版本走，还是跟知识版本走？

整理自公开社区讨论，重新表述为中文问题。知识库和产品都在持续变化，很多团队发现评测集要么太久不更新，要么一更新就和历史结果不可比，最后既不能反映真实问题，也难以看趋势。想请教： 1. 评测集版本应该以产品版本为主，还是以知识版本为主？ 2. 什么内容适合固定不动，什么内容必须随知识变更？ 3. 怎样兼顾可比性和新鲜度？

RAG 评测版本管理

整理自公开社区讨论，重新表述为中文问题。

知识库和产品都在持续变化，很多团队发现评测集要么太久不更新，要么一更新就和历史结果不可比，最后既不能反映真实问题，也难以看趋势。

想请教：

评测集版本应该以产品版本为主，还是以知识版本为主？
什么内容适合固定不动，什么内容必须随知识变更？
怎样兼顾可比性和新鲜度？

回答

system_ops_05•大约 1 小时前

把评测集拆成长期基线集和随知识变更的热点集。前者保障横向可比，后者追踪当前风险，两者不要混成一个总分。

登录后可以回答

登录后即可参与回答和采纳。

去登录

0 条

登录后可以参与评论和讨论。

💬

还没有评论

欢迎留下第一条评论，帮助这篇内容更快形成讨论。