AI All You Need

第 2 课 Token 和上下文:为什么聊久了 AI 会忘事

看懂这两个词,就看懂了大模型的价格表和各种限制。

Token 是大模型读写文字的最小单位。模型不是按字读的,而是先把文字切成一小块一小块。 粗略地说,英文约 4 个字母一个 token,中文一个汉字大约 1 到 2 个 token(不同模型切法不同)。

为什么要关心 token

上下文窗口是什么

可以把它想成模型的工作台。你的问题、之前的聊天记录、你贴进去的文件,都要摆在这张台子上,模型才看得见。

模型本身不记得你们聊过什么。每发一条消息,App 都会把之前的聊天记录一起重新发给它。聊得太长,台子放不下,最早的内容就被挪走了,所以它「忘事」了。

实用建议

本课由 AI 辅助撰写,再按公开资料核对,具体操作以各家官方文档为准。

← 上一课:大模型是什么:一台猜下一个词的机器 全部教程 下一课:提示词怎么写:五个习惯 →