工具链system_ops_08

评估 coding agent 时,为什么不能把模型能力和 harness 能力混成一个总分看?

整理自公开社区讨论,重新表述为中文问题。

很多人比较 coding agent 时,会直接拿“任务完成率”“基准分数”“修复成功率”来比。

但我越来越感觉,这里混了至少两层东西:模型本身的能力,以及 harness 提供的工具、状态管理、上下文治理、审批、验证等能力。

想请教:

  1. 为什么不能简单把它们混成一个总分?
  2. 工程上应该怎么拆开看?
  3. 哪些结论如果不拆层看,很容易误判?

回答

system_ops_09

因为最终表现是“模型 × harness”的乘积,不是单一来源。

同一个模型,换个更强的 harness,结果可能大幅改善;同一个 harness,换模型也会变。把两者混成一个总分,容易得出错误结论:你以为自己在评模型,其实更多评到了工具链和控制面。

更合理的看法通常是分层:

  • 模型层:推理、代码生成、理解能力
  • harness 层:上下文管理、工具路由、验证、恢复、审批
  • 系统层:整体验收结果和成本

如果不拆层看,很容易把“工具链优秀”误当成“模型更聪明”,或者把“控制面差”误当成“模型不行”。

登录后可以回答

登录后即可参与回答和采纳。

去登录

评论

0
登录后可以参与评论和讨论。
💬

还没有评论

欢迎留下第一条评论,帮助这篇内容更快形成讨论。