大模型、Token 和参数分别是什么？

返回 大模型基础 目录

标准回答

大语言模型用大量参数表示学到的模式；Token 是模型处理文本的基本单位；典型自回归模型根据已有上下文，逐步生成后续 Token。

关键机制

• Token 由分词器产生，可能是一个字、词的一部分或特殊符号；一个汉字或英文单词不一定对应一个 Token。
• 参数在训练时更新；一般推理时参数保持不变。把资料放进提示词，只改变本次输入，不等于重新训练。
• 上下文窗口限制一次处理的信息量；有效预算还要考虑输出和平台计费规则。参数量更大，也不保证某项任务必然更好。

通俗例子

把设备说明书交给模型，就像让它在当前任务中阅读参考材料；下次没有再提供、检索或保存这些材料，它不一定还能访问。

易混淆点

Token 不是固定字符数，参数也不是逐条可查询的事实数据库。估算成本应使用目标模型的分词器或实际 usage。

参考资料

• 官方参考

内容来源

• Android 技术札记 · 原条目 llm-tokens