如何理解限流、重试与成本控制？

标准回答

限流可以按账户、Key、模型、端点和全局容量分层，额度限制控制可消费总量，并发限制控制同时占用的资源。三者解决不同问题。一个每日额度很低的用户也可能瞬间提交大量并发请求。

重试仅用于明确的暂时性错误，采用有上限的次数、退避与随机抖动，并尊重总体期限。对于已经开始生成、写入或扣费但结果未知的请求，应先判断是否支持幂等或状态查询，不能无条件整单重试。

成本控制需要记录输入与输出用量、模型、任务类型和重试次数。预算超限时明确降级或拒绝，不能悄悄切换到质量不符的模型。现有项目记录确认商业化形态，未提供成本率和历史限流阈值，不能编造具体收益。

上游变慢导致更多请求占用连接，集中重试再次放大到达率。应同时设置并发上限、熔断或有界排队。

在统一时间窗内将可归属的成功、失败与重试成本除以所定义的业务完成量，并说明缓存或赠送额度是否计入。