外观
语音、触摸和视觉一起输入,怎样判断用户指的是哪个对象?
标准回答
多模态交互要把不同来源的信息放回同一时间和场景里理解。语音说“打开这个”,触摸或视线可能提供“这个”的对象;不确定时需要确认,不能凭一个不可靠信号执行。
- 记录输入来源、时间、对象和置信信息,设置适合场景的有效窗口。
- 多模态融合与多模态 RAG 不同:前者解决交互理解,后者偏向多类型知识检索。
- 摄像头或麦克风不可用时提供降级入口,并处理权限和用户关闭感知的选择。
通俗例子
屏幕有两个座椅图标,用户先点副驾再说“加热到一档”。系统把选中对象、说话时间、座位权限和当前界面一起判断;如果点选已经过期或对象冲突,就明确问是哪个座椅。
深入解释
**融合要对齐什么:**把语音中的动作、触摸选中的对象及其他感知信号按时间和场景关联。旧页面的点击、过期视线或别人的语音不能任意拼成同一条指令。
**有冲突时怎么做:**若语音说主驾却选中副驾,按明确的业务规则处理或询问确认。多一个输入来源是增加证据,不是让系统在不确定时更大胆地猜。
易混淆点
模态更多不等于判断更准确;冲突信息和陈旧上下文反而可能放大误操作。
内容来源
- Android · AI Agent 知识手册 · 原条目
job-P04