Skip to content
阅读进度

语音、触摸和视觉一起输入,怎样判断用户指的是哪个对象? ​

返回 架构与 SDK 目录

标准回答 ​

多模态交互要把不同来源的信息放回同一时间和场景里理解。语音说“打开这个”,触摸或视线可能提供“这个”的对象;不确定时需要确认,不能凭一个不可靠信号执行。

  • 记录输入来源、时间、对象和置信信息,设置适合场景的有效窗口。
  • 多模态融合与多模态 RAG 不同:前者解决交互理解,后者偏向多类型知识检索。
  • 摄像头或麦克风不可用时提供降级入口,并处理权限和用户关闭感知的选择。

通俗例子 ​

屏幕有两个座椅图标,用户先点副驾再说“加热到一档”。系统把选中对象、说话时间、座位权限和当前界面一起判断;如果点选已经过期或对象冲突,就明确问是哪个座椅。

深入解释 ​

**融合要对齐什么:**把语音中的动作、触摸选中的对象及其他感知信号按时间和场景关联。旧页面的点击、过期视线或别人的语音不能任意拼成同一条指令。

**有冲突时怎么做:**若语音说主驾却选中副驾,按明确的业务规则处理或询问确认。多一个输入来源是增加证据,不是让系统在不确定时更大胆地猜。

易混淆点 ​

模态更多不等于判断更准确;冲突信息和陈旧上下文反而可能放大误操作。

内容来源 ​

用完整回答理解机制,用真实证据解释项目。