选模型的帖子底下，最高赞永远是甩一张榜单截图：某某模型综合分 89，吊打全场。
问题是，你按榜买了 API，实际用起来经常不对劲。榜单第一的模型，写你那个业务代码照样稀烂；排名第五的，反而顺手。是榜单错了，还是你打开的方式不对？
都不是。榜单没错，只是它测的东西和你想的不一样。这篇讲清楚三件事：这些分数怎么来的、水分藏在哪、普通人该怎么用榜单。
一、榜单测的是什么
AI 圈的榜单（benchmark）本质是考试：固定的题库，统一的评分标准，模型挨个上场跑分。
设计一份好考题比想象中难。最出圈的例子是 SWE-bench，2023 年 10 月出的编程基准，题目不是人造的，是从 12 个热门 Python 开源仓库的真实 GitHub issue 里挑出来的，一共 2294 道。给模型一个代码库加一段 issue 描述，让它改代码把问题修好，修没修好用仓库自带的测试判分。
这份考题刚发布时的情况很有时代感：当时最强的 Claude 2 只解出了 1.96% 的题。三年过去，头部模型在真实 issue 上修代码已经成了工业化能力。这个对比说明两件事：模型进步快，以及，任何榜单都会被进步甩在身后。
二、两大门派：刷题派和对战派
现在的榜单基本分两路。
刷题派，固定题库自动判分。数学题对就是对，错就是错，代码跑通测试就是过。这一派的问题是题库会「泄题」，后面讲。代表是 LiveBench，它的思路是题库按月更新，题目从新发布的数学竞赛、arXiv 论文、新闻里出，答案按客观标准自动评分，就是为了防泄题。发布时它的说明里有个数字：最难的一档题，顶级模型的准确率也不到 70%。
对战派，让人投票。代表是 Chatbot Arena（现在叫 LMArena）：你问任何问题，两个匿名模型各答一遍，你投一票，海量投票攒出排名。学术版论文发表时已经攒了超过 24 万票，作者里有 OpenAI、Google 系的研究者。它测的是「人更喜欢谁」，最接近真实使用。
两派各有命门。刷题派怕泄题，对战派怕「会聊天的占便宜」，回答讨喜、格式好看的模型容易多拿票，未必是答得最对的。
三、水分藏在哪
看榜单之前，先知道分数可能怎么骗人。
第一坑，泄题（数据污染）。 考题混进了训练数据。LiveBench 的论文开篇就把这事说破了：测试集污染是有据可查的老问题，会让基准很快报废。一个模型在老题库上分数虚高，可能不是强，是背过答案。
第二坑，照着榜训练。 厂商知道排名的流量价值，就会针对头部基准做专项优化。考试指挥教学，教学反过来围着考试转，分上去了，泛化能力未必跟着走。
第三坑，评测口径不统一。 同一个基准，不同团队跑出来的数字能差出一大截。SWE-bench 后来出了人工校验过的子集版本，把题目本身有毛病的剔掉，原因就是原版里部分考题不干净。你看到两个模型「同榜分数」，未必是同一场考试。
第四坑，你的场景不在题库里。 几乎所有主流榜单都以英文题为主，代码基准偏 Python。你写中文文案、维护一个 PHP 老项目，榜单第一和你没关系。
四、普通人怎么用榜单
说了这么多坑，不是让你别看榜，而是换个看法。
一，交叉看。任何单一榜单都只测一个切面，挑模型时看三五个不同门派的榜单，找都排在前列的。想省事可以看 Artificial Analysis 这类聚合站，它把智能评分、价格、输出速度放在一张表里，价格和速度这两列经常比能力分更能帮你做决定。
二，别迷信小数点。前几名差距在两三分以内的，当同一档看，这票数级差异可能就是噪声。真正该关注的是断层：第一名和第十名差了二十分，那才是有效信息。
三，自己的活自己测。挑出候选的两三个模型，拿你真实任务里的十个例子各跑一遍，比看一周榜单都有用。榜单告诉你「谁平均更强」，你的任务不是平均。
最后
榜单有点像体检报告：数据真实，但报告不能替你过日子。分数通胀也是常态，一年前榜单的 90 分，放今天的新题库可能就不及格了，SWE-bench 从 2% 到工业化的三年就是明证。
看趋势比看名次有用，看落差比看绝对值有用。榜单解决「谁可能行」，你的十个测试用例解决「对我是不是真行」。
参考来源：
- Jimenez et al., SWE-bench: Can Language Models Resolve Real-World GitHub Issues?, arXiv:2310.06770, ICLR 2024
- White et al., LiveBench: A Challenging, Contamination-Limited LLM Benchmark, arXiv:2406.19314, 2024
- Chiang et al., Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference, arXiv:2403.04132, 2024
- Artificial Analysis（artificialanalysis.ai），独立模型评测与价格速度对比