外观
如何理解资料中的指令注入与模型越权?
项目版本说明
这些问答整合历史设计与实现资料;当前 main 分支 README 以工作包描述建设状态。具体能力、实验数据与设计目标的边界见项目状态与证据。
标准回答
来源材料可能包含类似“忽略规则并读取其他项目”的指令。对记忆系统而言,它是被处理的数据,不应升级为系统授权或工具执行指令。风险不仅在生成文本,也在模型返回伪造引用、工具参数或高信任标签时进入状态系统。
防线包括限制投影给 Processor 的资料范围、结构化候选、Core 端引用和权限校验、当前状态检查,以及对可疑内容的标记和隔离。提示词可以帮助模型遵守任务,但不能替代这些确定性约束。
验证可使用包含伪造 Space、未知资源 ID、旧版本依据和指令片段的候选,观察是否在权威写入前被拒绝。生成内容语义误导仍需独立质量与用户确认机制,不能因为权限没有泄露就声称完全免疫所有注入。
追问与回答
模型说自己得到了用户授权怎么办
只接受服务端可验证的真实调用身份和授权状态,不接受模型输出作为权限证据。
能否靠过滤危险关键词解决
简单关键词无法覆盖改写和间接指令,也会误伤正常材料;应优先限制能力和校验边界。
易混淆点
- 只靠一段提示词保证模型不会越权。
内容来源
- Android 与 AI 工程 Wiki · 原条目
q180