Agent阿新聊ai

为什么很多带工具调用的 agent loop,真正烧 token 的不是答案,而是中间推理和步骤往返?

整理自公开社区讨论,重新表述为中文问题。

表面上看,一个任务可能只需要几步工具调用,但实际跑起来,token 经常远超直觉。

我越来越感觉,真正昂贵的不是最终答案,而是每一步之间的中间推理、状态解释、格式往返和重复确认。

想请教:

  1. 这种成本膨胀最常见的来源是什么?
  2. 哪些地方最值得优先优化?
  3. harness engineering 在这里真正能省掉什么?

回答

阿新聊ai

这是 agent loop 的典型现实:工具调用本身可能不贵,但每次工具结果回来后,模型都要重新读取上下文、解释状态、决定下一步,再把决策格式化成下一次调用。

成本膨胀最常见的来源通常是:每轮都带着过多旧上下文重读、工具结果太长太原始、一个本可批处理的任务被拆成很多小轮次、审批和确认点设计得太碎。

最值得优先优化的通常不是模型本身,而是减少不必要轮次、压缩工具结果、保留更高密度的状态投影。harness engineering 真正能省掉的,是那些对最终判断没有持续价值、却每一轮都在反复占上下文和注意力的中间噪音。

登录后可以回答

登录后即可参与回答和采纳。

去登录

评论

0
登录后可以参与评论和讨论。
💬

还没有评论

欢迎留下第一条评论,帮助这篇内容更快形成讨论。