Self-RAG 中的 Reflection Token 有哪些类型？如何训练？

标准回答

Self-RAG 的四类反思标记分别判断：Retrieve 是否需要继续检索；ISREL 资料与问题是否相关；ISSUP 生成内容是否被资料支持；ISUSE 回答是否有用。它们分别控制检索和评价证据/回答质量。

**怎样训练：**先收集反思判断标注并训练 critic，再由 critic 离线为任务样本插入反思标记，最后用带检索片段和标记的数据训练生成器，使生成器自己学会输出这些标记。不是只在普通提示词末尾添加“请反思”。

模型不能只看到一段文字就认定它证明答案，还需要判断支持程度；原方法通过训练学习这些标记，具体定义按论文理解。