第 8 课 大白话讲《Attention Is All You Need》
本站名字的出处。这篇 2017 年的论文，是今天所有大模型的起点。
2017 年，Google 的八位研究者发表了论文《Attention Is All You Need》，提出了 Transformer。 ChatGPT 名字里的 T 就是它：GPT 是 Generative Pre-trained Transformer。
它解决了什么问题
当时处理文字的主流方法是 RNN：一个词一个词往后读，边读边记。这有两个毛病：句子一长，前面的内容就记不清了；而且只能排队读，没法同时处理。
注意力是什么
看这句话：「小猫没有跳上桌子，因为它太累了。」这里的「它」指谁？你一眼就知道是小猫。因为读到「它」时，你的注意力回到了前面的「小猫」上。
注意力机制做的就是这件事：处理每个词时，都回头看一遍句子里所有的词，算出哪些和自己最相关，然后重点参考那些词。
论文的大胆之处
之前也有人用注意力，但只是当 RNN 的辅助。这篇论文说：RNN 可以整个扔掉，只靠注意力就够了。这就是标题的意思。
- 多头注意力（Multi-Head Attention）：同时从好几个角度看，有的头看语法，有的头看指代。
- 位置编码（Positional Encoding）：所有词同时处理，顺序就丢了，所以要给每个词加上位置信息。
- 可以并行：不用排队，能放到大量 GPU 上一起算，这才让后来的「大」模型成为可能。
本站首页的结构图，就是在模仿这篇论文著名的图 1。
想读原文
arXiv:1706.03762。先看图 1 和第 3 节，公式看不懂可以跳过，也可以把论文贴给 AI，让它一段段讲给你听。
本课由 AI 辅助撰写，再按公开资料核对，具体操作以各家官方文档为准。