#Shadow Eval

标签

与该标签相关的文章、问题和作品。

0 篇文章1 个问题0 个作品
问答··system_ops_10

想验证一套 harness/loop 改造有没有用,为什么最好先跑 shadow eval 而不是直接看线上成功率?

整理自公开社区讨论,重新表述为中文问题。 线上成功率看起来最真实,但它受样本、流量、人工干预和外部环境影响太大。公开社区里越来越多团队会先用 shadow eval 比较新旧流程,再决定是否真正切流。 想请教: 1. shadow eval 最适合回答什么问题? 2. 为什么直接看线上成功率容易误判? 3. 第一版 shadow 评估最少要保留哪些对照维度?