LoRA、量化与蒸馏有什么区别？

返回 大模型基础 目录

标准回答

LoRA 是参数高效微调方法，训练低秩增量；量化降低部分数值表示的精度以减少资源成本；蒸馏用教师信号训练学生模型。三者解决的问题不同，也可组合。

关键机制

• LoRA 通常冻结原权重，只训练少量增量矩阵；训练参数少，不代表完全不需要基础模型或推理内存。
• INT8、INT4 等量化能降低部分存储需求，但速度收益取决于算子、硬件和后端；还要验证精度损失。
• 蒸馏可学习输出分布、答案或其他监督信号；学生的能力取决于数据、任务和训练质量，不能自动复制教师全部能力。

通俗例子

7B 参数按纯 4 bit 权重粗算约 3.5 GB（十进制），这还没有包含量化元数据、KV Cache、运行缓冲和其他内存，不能据此承诺手机总占用。

易混淆点

LoRA 不是把原模型直接缩小；量化也不是压缩文件后运行时恢复成完整精度就能获得同样收益。

参考资料

• 官方参考
• 量化概念
• 蒸馏论文

内容来源

• Android 技术札记 · 原条目 lora-quantization