上一篇讲 Transformer（377）的时候，注意力机制只是一句话带过：每个词去看句子里的其他词，算出谁跟谁关系最近。今天把这件事拆开讲。因为 2017 年那篇论文真正的主角，其实是多头注意力（Multi-Head Attention）这几个字。
论文标题为什么放着"Transformer"这个词不用，反而叫 Attention Is All You Need？我的理解是，作者们自己也清楚，这篇文章里能立住十年的东西，是注意力，而不是那个起了个科幻名字的模型结构。
效果先摆出来：2017 年 6 月提交的 arXiv 1706.03762，在 WMT 2014 英德翻译上拿了 28.4 BLEU，比当时最好的结果（包括集成模型）高了 2 分以上；英法翻译 41.8 BLEU，单模型新纪录，8 块 GPU 训练 3.5 天。这些数字是论文摘要里的原句，不是后来的转述。
先看单头：注意力到底算了什么
先把"多头"两个字忘掉，只看一个头。
一个头做的事情很朴素。比如这句话：「小明把书给了小红，因为她想读」。这里的「她」指谁？模型要理解这句话，就得让「她」这个词去「看」句子里的其他词。它会给每个候选词打一个分：小明，几分；书，几分；小红，几分。分数越高，说明关系越紧密。算完分，「她」的新表示就是这些词按分数加权混合出来的东西。
打分的权重不是写死的，是训练出来的。训练目标说白了就是：让「她」跟「小红」的分数变高，这样模型才读得懂。每来一个新句子，同样的打分过程再跑一遍，分数跟着句子换。
这一套打分加混合，就叫注意力。名字起得还挺贴切：重要的词多看两眼，不重要的少看。
一个头的尴尬：只能盯一种关系
单头问题是 2017 年的研究者们真正头疼的地方。
一个词跟别的关系不止一种。「她」跟「小红」是代词指代关系，同时「她」跟句子里动作的发出者还有逻辑关系。这两种关系混在一个打分系统里，就必须找一组权重同时照顾两件事，互相牵制。
论文作者的做法很直接：既然一种打分不够用，那就并排做八套。每套从头打分、各自混合，最后把八个结果拼在一起。这就是多头注意力，论文里 8 个头是实验定下来的数。
一个常见的误解是八个头会像八个专家一样分工，你管语法我管语义。训练完看实际情况，并不是。有的头专门盯相邻的词，有的头盯着标点，也有的头干的活跟别的头高度重叠。分工程度是训出来的，不是设计出来的。
从 8 个头到各种变体
8 头之后，这个机制的规模一直在变。这里说两个我核实过的例子，都用官方材料。
第一个是 DeepSeek。DeepSeek-V3 的官方 README 写明，它用的是 Multi-head Latent Attention（MLA），并且这套东西在 DeepSeek-V2 里已经验证过。MLA 的思路是压缩：把注意力的中间状态压进一个低维的潜空间，推理的时候要读写的量小了，效率就上来了。LMSYS 的 SGLang 团队 2024 年 9 月发过一篇博客，给 DeepSeek 的 MLA 上各种优化，吞吐量最高提了 7 倍。这说明一件事：多头注意力本身已经是共识，大家争的是中间状态怎么存、KV cache 怎么省。
另一个是 Kimi K3。K3 的官方文档写得更直白：2.8 万亿参数，用的是 KDA（Kimi Delta Attention）混合线性注意力机制。也就是说，一直追着「怎么让注意力在超长序列上跑得又快又不出错」这个问题打的，不只是 DeepSeek 一家。
不管名字怎么换，MLA 也好、KDA 也好，底层都是同一套逻辑：多个头并行打分，混合出新的表示。变的只是打分的数学形式和中间结果的存法。
为什么现在还值得了解它
有个问题我问过自己：一个普通用户，不训模型不看源码，聊这个有意义吗？我的答案是看情况，但下面这几点确实用得上。
第一，选模型的宣传词里有东西可对照。看到「原生 1M 上下文」「线性注意力」「MLA 架构」，至少知道这些词指的是 Attention 这一层的设计，跟预训练数据多少、参数量大小是两码事。
第二，能看懂为什么模型在某些任务上翻车。注意力是词跟词之间的连线，句子一长，连线数量跟着涨，模型要同时盯的关系就多，出错概率也上去。这解释了不少模型的长上下文问题，也解释了为什么官方材料反复强调长序列下的稳定性。
第三，入门系列到这里可以扣上最后一环了。MoE（350）讲的是参数怎么分配，量化（347）讲的是参数怎么存，蒸馏（362）讲的是小模型怎么把本事学过来，temperature（352）讲的是输出怎么调，加上这篇的注意力，一套入门地图基本画完。剩下的就是拿着这张图去看具体产品了。
一句话收尾：注意力是模型理解语言的方式，多头是它同时理解的几种角度。角度多一点，理解就细一点，这也是 2017 年那批作者比我们多想到的地方。