如何理解预训练、微调、RAG 与长期记忆？

返回 大模型基础 目录

标准回答

预训练通过数据和优化过程改变模型参数，微调在后续任务或偏好数据上继续调整参数。普通 API 推理与在提示中加入资料不会自动更新权重。长期记忆系统可以保存外部资料，在后续请求中检索使用，形成跨会话连续性。

RAG 在生成前或生成过程中获取相关资料，让模型依据外部上下文工作。它有利于更新和追溯外部知识，但不能保证生成绝对正确，资料检索错误、内容冲突或模型忽略证据仍会产生错误。

EachOf 主要属于外部记忆与治理基础设施：它管理当前可用资料、来源、依赖与访问，能作为 RAG 的上下文来源。昆仑智能的确认范围是模型 API 应用集成。两者都不能在没有训练证据时表述为自行训练了模型。

追问与回答

有 RAG 为什么还可能需要微调

微调可以改善输出形式、任务行为或领域适配，RAG 侧重提供可更新知识，二者解决部分不同问题；是否需要取决于错误类型和成本。

把聊天历史全部存起来就是长期记忆吗

只是保存原始记录。可用记忆还需要选择、结构、检索、权限、纠正和有效性管理。

易混淆点

• 把模型读过一次资料解释为参数永久学会了它。

参考资料

• Retrieval-Augmented Generation

内容来源

• Android 与 AI 工程 Wiki · 原条目 q211