第 1 课 大模型是什么：一台猜下一个词的机器
ChatGPT、豆包背后的原理，一句话就能讲清楚。
大模型做的事情只有一件：根据前面的文字，猜下一个词最可能是什么。
你在手机上打字时，输入法会提示下一个词，大模型就是这件事的超大号版本。它读过海量文本，学到了「什么词后面常跟什么词」， 而且学得足够深，连「这段代码接下来该写什么」「这个问题的答案通常怎么展开」也学会了。
它是怎么「写」出一段话的
- 把你的问题读进去。
- 算出下一个词的概率，比如「北京」60%、「上海」20%。
- 选一个词接上去。
- 带着新接上的词，回到第 2 步，一直重复到写完。
所以你看到的文字是一个字一个字冒出来的，那不是动画效果，它真的在一个一个地猜。
这个原理能解释很多现象
- 同一个问题问两次，回答不一样：第 3 步不总是选概率最高的词，带一点随机，回答才不呆板。这个随机程度叫「温度」（temperature）。
- 它会很自信地说错话：它在猜「听起来对的话」，不是在查资料。详见AI 为什么会瞎编。
- 它数不清 strawberry 里有几个 r：它看到的不是一个个字母，而是切好的小块（token），见下一课。
动手试试
打开任意一个 AI，让它「用一句话解释你刚才这个回答是怎么生成的」。再把同一个问题问三遍，看看回答哪里不一样。
本课由 AI 辅助撰写，再按公开资料核对，具体操作以各家官方文档为准。