外观
语音助手的 ASR、LLM、TTS 怎样串起来?
标准回答
典型链路是音频采集与端点判断 → ASR 转文字 → 意图或模型处理 → 必要工具执行 → TTS 播报;也有直接处理音频的模型,具体架构按能力选择。
关键机制
- VAD 判断是否有人声,ASR 识别说了什么,TTS 把文本变为声音;噪声、回声、打断和说话结束时机都影响体验。
- 流式识别的中间文本可能被修订,涉及设备控制时要区分暂时结果与可执行的最终意图,避免听一半就误操作。
- 用户打断时停止旧播报、取消可取消的任务并切换会话;已经执行的外部动作不能靠停止音频自动撤销。
通俗例子
用户先说“打开客厅……”又补充“不要开灯”,仅凭前半句立即调用工具可能造成错误动作。应结合完整意图和必要确认决定执行时机。
易混淆点
端到端体验不能只看 ASR 准确率。错误执行率、首反馈时延、打断响应和噪声场景也需要验证。
参考资料
内容来源
- Android 技术札记 · 原条目
voice-agent