如何理解模型服务的批处理、量化与缓存？

返回 大模型基础 目录

标准回答

批处理将多个输入组织到一次计算中，可能提升吞吐，但会引入等待成批和更高内存峰值。在线请求应限制最长等待并按输入长度等因素控制资源，不能只用离线大批次吞吐衡量交互体验。

量化降低部分权重或缓存的存储精度，可以减少占用并改变计算路径，质量和速度收益取决于模型与硬件。粗略估计中，10亿参数按每参数2字节仅权重约20亿字节，实际运行还包含缓存、激活、框架与工作空间，不能据此认定同大小显存足够。

Embedding 缓存需要包含模型身份、规范化内容和处理版本；生成缓存还要包含影响结果的上下文、权限和状态。EachOf 对模型空间与来源当前性的限制同样适用。并行、缓存和量化是可选优化方法，不是当前项目已采用全部策略的事实陈述。

追问与回答

为什么量化后没有更快

可能硬件内核不适配、转换开销、内存与计算瓶颈不同，或批次改变；使用端到端测量并验证质量。

批量 Embedding 失败如何恢复

按稳定输入身份和模型版本保存结果，区分可重试项，避免整批重做产生不一致或重复成本。

易混淆点

• 仅按参数字节数承诺模型可稳定运行。

参考资料

• Transformers KV Cache 策略

内容来源

• Android 与 AI 工程 Wiki · 原条目 q217