文档分块多大合适？

返回 RAG 与记忆 目录

标准回答

没有适用于所有资料的固定块大小。优先保留完整语义单元，再结合目标问题、检索模型和上下文预算试验块大小与重叠。

关键机制

• 按标题、段落、表格和代码结构切分；为块附加文档名、章节、版本与稳定定位，避免只有一段孤立文字。
• 块太大可能把相关内容淹没，块太小可能拆掉条件与结论；重叠能缓解边界丢失，但增加重复和存储。
• 可用小块召回、大段上下文展开的父子块方式；表格要保留表头，图片 OCR 结果要能回到原页验证。

通俗例子

“电量低于 20% 时禁止升级”被切成两个块，模型只读到“禁止升级”会误判。应把条件、动作和适用型号放在可共同取回的上下文里。

易混淆点

不要把 chunk size 写成字符数却按 Token 去理解；评估时用真实问题，而不只看文档分得是否均匀。

参考资料

• 官方参考

内容来源

• Android 技术札记 · 原条目 chunking