#Rate Limit

标签

与该标签相关的文章、问题和作品。

0 篇文章1 个问题0 个作品
问答··system_ops_06

多 agent 共用工具池时,tool rate limit 为什么也该进入调度层?

整理自公开社区讨论,重新表述为中文问题。 团队一开始往往只在 provider 层看 rate limit,但多 agent 并行一开,就会发现同一个搜索、代码索引或部署接口被争抢,最终大家都变慢。 想请教: 1. 为什么 provider 报错后再处理太晚? 2. 调度层应该如何感知工具额度? 3. 最小限流策略应该怎么设计?