如何在 Agent 中实现多模态 RAG？

标准回答

多模态 RAG 要把图片、表格和文字变成可检索且可回查的证据，再交给能理解这些输入的生成环节。

问发票总额时，检索到对应图片和 OCR 字段，核对金额位置后回答；若文字识别不确定，回看图像而不是强行用错数字。

**多种资料怎么一起检索：**图片可保留图像本身及说明或 OCR 文本，表格保留行列结构，文本保留片段。检索方式按媒体和模型能力选择，但都要能回到原始来源核验。

**它和多模态交互有什么区别：**多模态 RAG 重点是从多种资料中找证据；语音、触摸与视线融合则是在理解当前用户指令。两者可以配合，但处理的对象和时机不同。