Agent 的限流（Rate Limiting）策略如何设计？

标准回答

同时限制每租户和系统整体的请求速率、token 消耗、并发任务及昂贵工具调用；请求速率可用令牌桶，长任务用并发配额与有界队列。超限时按策略返回可重试错误、排队或降级，并限制重试放大；只限每秒请求数无法约束一次任务的多轮成本。

一个请求可能跑 50 步，另一个只回一句话；限制入口 QPS 之外，还要给每个任务步骤、时长和预算上限。

只限制每秒请求数，可能仍被超长上下文或多步任务耗尽资源。