如何设计一个能支撑 10 万 QPS 的 Agent 服务？

标准回答

先把 10 万 QPS 拆成缓存命中、规则即可处理、需要模型、需要多轮 Agent 的不同流量，明确各类的延迟与成本目标。入口做分区限流和路由，长任务进入队列，编排层与模型/工具池分别扩容，再用 token 吞吐、调用轮次和下游容量做压测；缺少这些参数不能直接承诺多少服务器能撑住。

公开静态问答可有缓存，个人订单不能跨用户共用答案；模型任务进入配额和队列系统，按真实负载压测，不能靠“多开几台”给保证。

固定写“几台服务器即可支撑”没有通用依据；必须说明硬件、模型、负载和服务目标。