LoRA 和 QLoRA 的原理是什么？在 Agent 微调中如何选择？

标准回答

LoRA 冻结原权重 W，只训练低秩增量 ΔW = BA（通常带缩放因子）；QLoRA 进一步把冻结的基座权重以低比特形式存储，再训练适配器，以降低显存需求。显存充足时可用常规 LoRA，显存受限时评估 QLoRA；选择还要比较精度、吞吐和部署支持，不能默认量化一定更快。

想微调固定输出风格时，不更新全部大模型权重，而训练适配参数；QLoRA 的低位存储不代表所有计算都用同样低精度。

QLoRA 不是“所有训练计算都用 4 bit”，也不只是推理时量化。