上亿题库怎样入库、去重、更新并建立 Elasticsearch 索引？

标准回答

先把题目从采集到可检索的路径讲清：获取、清洗、识别重复或更新、持久化、建立索引并验证。然后明确“上亿”是累计采集入库口径，实际唯一题目数、索引文档数和当前有效数量需要分别提供，不能互相替代。

题干相同但选项不同，若只按题干哈希去重，可能把不同题误合并；答案更新时也不能简单追加一份旧答案，让检索同时返回冲突结果。

**数据结构决定检索能力：**题干、选项、答案、来源和更新时间如何保存，会影响去重、分词和展示。简历未给出字段与 mapping，需要补齐真实结构。

**去重与更新分开设计：**相同题目重复出现与题目内容被更正是不同事件；规范化、稳定标识或内容指纹可作为方案，但要解释如何避免误合并不同题目。

**用实际规模解释索引：**分片、副本、节点配置和批量写入都需要以当时数据与硬件为准；不能仅凭上亿条就推断使用多少台机器。

需给出真实索引与原始数据体积、是否含副本；按文本平均长度估算不能代替实际统计。

说明更新周期、失败重试、删除或纠错的传播，以及用户侧观察到的更新延迟。

累计入库量不一定等于去重后的当前 Elasticsearch 文档数。