Transformer 和 Attention 可以怎样理解？

返回 大模型基础 目录

标准回答

Transformer 通过注意力等模块组合上下文信息。注意力可理解为：当前位置提出查询，对各位置相关性打分，再把相应信息加权汇总。

关键机制

• Q 是查询，K 是用于匹配的键，V 是要汇总的值；它们通常由输入表示通过训练得到的投影产生，不是人工填写的关键词。
• 多头注意力用不同投影并行处理关系，再合并结果；前馈网络、残差连接与归一化也参与计算，不能只看 Attention。
• 常见生成模型使用因果掩码，不能在生成当前 Token 时偷看未来；位置编码帮助区分顺序。

通俗例子

“小王把手机递给小李，因为他的手机没电了。”模型需要结合上下文处理“他”可能指谁；注意力提供联系不同位置的计算方式，但歧义仍可能无法唯一解决。

易混淆点

注意力权重不是可靠的完整解释，也不等同于人类注意力。会联系上下文不代表每个判断都正确。

参考资料

• 官方参考

内容来源

• Android 技术札记 · 原条目 transformer