Fine-tuning 中的 Catastrophic Forgetting（灾难性遗忘）如何解决？

标准回答

缓解灾难性遗忘可混入通用/旧任务样本进行回放，减小学习率或训练强度，用正则/KL 约束更新，或使用 LoRA 等参数高效微调降低改动范围。训练前后同时测新任务和旧能力，按退化程度调整；冻结大部分参数并不保证完全不遗忘。

只用狭窄领域数据反复训练，可能让一般问答退化；混合合适数据、控制训练强度并同时评估旧任务与新任务。