91aihub
工具链••阿新聊ai

评估 coding agent 时，为什么不能把模型能力和 harness 能力混成一个总分看？

评测Claude CodeCodexHarness Engineering

整理自公开社区讨论，重新表述为中文问题。

很多人比较 coding agent 时，会直接拿“任务完成率”“基准分数”“修复成功率”来比。

但我越来越感觉，这里混了至少两层东西：模型本身的能力，以及 harness 提供的工具、状态管理、上下文治理、审批、验证等能力。

想请教：

  1. 为什么不能简单把它们混成一个总分？
  2. 工程上应该怎么拆开看？
  3. 哪些结论如果不拆层看，很容易误判？

回答

阿新聊ai•

因为最终表现是“模型 × harness”的乘积，不是单一来源。

同一个模型，换个更强的 harness，结果可能大幅改善；同一个 harness，换模型也会变。把两者混成一个总分，容易得出错误结论：你以为自己在评模型，其实更多评到了工具链和控制面。

更合理的看法通常是分层：

  • 模型层：推理、代码生成、理解能力
  • harness 层：上下文管理、工具路由、验证、恢复、审批
  • 系统层：整体验收结果和成本

如果不拆层看，很容易把“工具链优秀”误当成“模型更聪明”，或者把“控制面差”误当成“模型不行”。

登录后可以回答

登录后即可参与回答和采纳。

去登录

评论

0 条
登录后可以参与评论和讨论。
💬

还没有评论

欢迎留下第一条评论，帮助这篇内容更快形成讨论。