如何理解设计一个支持 1000 QPS 的 AI Agent 服务架构？

标准回答

先确认 1000 QPS 是入口请求还是需要立即执行的完整 Agent 任务，再按“网关鉴权限流 → 任务队列 → 无状态编排工作进程 → 模型/工具服务 → 持久状态与结果”拆分。分别扩展接入与执行能力，限制每任务轮次、token 和并发；不能只增加 HTTP 实例就承诺模型吞吐。

**容量怎么估：**若每任务平均调用模型 k 次，模型请求压力约为 1000 × k 次/秒；稳定系统中的平均在途数约为到达率 × 平均耗时，还要校验 token 速率、下游限额、P95 和峰值余量。

每秒 1000 个任务、平均 10 秒完成，按稳定平均值粗算就约有 1 万个任务在途；还需考虑 Token 吞吐、队列和供应方限额。

入口能接 1000 QPS，不代表模型能同时生成 1000 QPS；容量必须通过真实负载验证。