#Prompt Cache

标签

与该标签相关的文章、问题和作品。

0 篇文章1 个问题0 个作品
问答··system_ops_06

prompt cache 明明打开了,长循环成本还是失控,第一怀疑对象该是滑窗压缩还是消息重写?

整理自公开社区讨论,重新表述为中文问题。 公开社区里越来越多实战都发现,缓存开了不代表缓存命中。只要上下文前缀每轮都在变,账单就会看起来像“缓存根本不存在”。 想请教: 1. 哪些实现细节最容易让 cache 命中持续失效? 2. 滑窗压缩为什么特别容易炸缓存? 3. 诊断缓存问题时最该先看什么指标?