Skip to content
阅读进度

语音助手的 ASR、LLM、TTS 怎样串起来? ​

返回 Agent 工程 目录

标准回答 ​

典型链路是音频采集与端点判断 → ASR 转文字 → 意图或模型处理 → 必要工具执行 → TTS 播报;也有直接处理音频的模型,具体架构按能力选择。

关键机制 ​

  • VAD 判断是否有人声,ASR 识别说了什么,TTS 把文本变为声音;噪声、回声、打断和说话结束时机都影响体验。
  • 流式识别的中间文本可能被修订,涉及设备控制时要区分暂时结果与可执行的最终意图,避免听一半就误操作。
  • 用户打断时停止旧播报、取消可取消的任务并切换会话;已经执行的外部动作不能靠停止音频自动撤销。

通俗例子 ​

用户先说“打开客厅……”又补充“不要开灯”,仅凭前半句立即调用工具可能造成错误动作。应结合完整意图和必要确认决定执行时机。

易混淆点 ​

端到端体验不能只看 ASR 准确率。错误执行率、首反馈时延、打断响应和噪声场景也需要验证。

参考资料 ​

内容来源 ​

用完整回答理解机制,用真实证据解释项目。