第 5 课 怎么看榜单:盲测分和基准分有什么不同
榜单不是越靠前就越适合你。先搞清楚它在量什么。
本站放的榜单主要有两类,它们量的东西不一样。
| 网友盲测(Arena) | 基准测试(Epoch 等) | |
|---|---|---|
| 怎么测 | 网友看两个匿名 AI 的回答,投票选更好的 | 让模型做一套有标准答案的题 |
| 量什么 | 好不好用、合不合人的口味 | 能力上限,尤其是难题 |
| 缺点 | 受投票人群和问题类型影响 | 题目之外的能力测不出来 |
看榜的四个习惯
- 看你要用的那一项。总榜第一不一定最会写代码,先看按用途的分榜。
- 分差小就当打平。榜单都有误差,差几分没有意义,所以页面上会写 ±。
- 看更新日期。AI 榜单几周就变一次,半年前的榜基本没用。
- 看能不能用。排第一但你用不了,不如排第五但国内能直接用的。
别只看一个榜
榜单页里还列了别的榜:有的看实际调用量,有的只比写代码,有的专门测中文。几个榜都靠前的模型,基本不会差。
本课由 AI 辅助撰写,再按公开资料核对,具体操作以各家官方文档为准。