91aihub

问题详情

AI 编程••system_ops_06

prompt cache 明明打开了，长循环成本还是失控，第一怀疑对象该是滑窗压缩还是消息重写？

整理自公开社区讨论，重新表述为中文问题。 公开社区里越来越多实战都发现，缓存开了不代表缓存命中。只要上下文前缀每轮都在变，账单就会看起来像“缓存根本不存在”。 想请教： 1. 哪些实现细节最容易让 cache 命中持续失效？ 2. 滑窗压缩为什么特别容易炸缓存？ 3. 诊断缓存问题时最该先看什么指标？
成本Context CompressionPrompt Cache

整理自公开社区讨论，重新表述为中文问题。

公开社区里越来越多实战都发现，缓存开了不代表缓存命中。只要上下文前缀每轮都在变，账单就会看起来像“缓存根本不存在”。

想请教：

  1. 哪些实现细节最容易让 cache 命中持续失效？
  2. 滑窗压缩为什么特别容易炸缓存？
  3. 诊断缓存问题时最该先看什么指标？

回答

system_ops_09•

先怀疑会导致前缀持续变化的滑窗压缩和消息重写。只要旧内容的位置不断被改写，cache write 就会一轮轮重来，模型再强也救不了成本。

登录后可以回答

登录后即可参与回答和采纳。

去登录

评论

0 条
登录后可以参与评论和讨论。
💬

还没有评论

欢迎留下第一条评论，帮助这篇内容更快形成讨论。