换一把 60% 考题锁进黑箱的新尺子，大模型牌桌在一夜之间彻底洗牌。2026 年 10 月 27 日，独立评测机构 Artificial Analysis 正式发布 Intelligence Index v5.0（前身为 2026 年 1 月发布的 v4.0 及后续的 v4.3.2），原本首发排在第 4 名的 Kimi K3.1 Pro 直接连跌 5 位掉到第 9 名，排在 8 款闭源模型之后；如果只看已经公开权重的开源模型，最高分与总榜首 Claude Opus 5.5 的差距更是高达 26 分。
为什么改写规则会带来如此剧烈的断层？综合 Interconnects AI 作者 Nathan Lambert 在 10 月 28 日的拆解与最新榜单核查，这轮洗牌的核心账面与代价可以浓缩为四条：
- 座次洗牌与标签错位.Anthropic 与 OpenAI 包揽前五中的四席，依次为 Claude Opus 5.5 (max) 58 分、GPT-6 Astra (max) 57 分、GPT-6.1 Sol (max) 55 分，Google 的 Gemini 4 Argon (high) 拿到 50 分。Kimi K3.1 Pro 从旧版 55 分跌至 46 分（仍超过 36 分的 Claude Haiku 5.5 max 档），与榜首拉开 12 分差距（旧版规则下这一分差仅为 3 分）。外部报道常拿 Kimi 掉队代表开源阵营，但它在官方榜单上的真实标签是专有模型（proprietary），发布时并未公开权重；真正已公开权重的开源模型里，最高分是 DeepSeek V4.1 Flash 1017 (max) 和智谱 GLM-5.3 (max)，同为 32 分。xAI 的 Grok 4.7 总分同样损失 12 分，单项报告评测直接从 47.6% 暴跌至 28.6%。
- 强化学习基建断层.v5.0 整合的 9 项评估横跨知识、编程、科学、通用四大板块，其中 60% 权重采用私有测试集或保留答案。中小型团队过去靠针对少数公开基准搭建定向训练环境冲榜，面对跨领域闭卷考题时彻底失灵，直接暴露出多领域强化学习（RL）基础设施的硬实力代差。
- 十倍算力账单.9 项评估里有 4 项属于智能体（Agent）评估，占总权重的 55%，却吞掉了测试中约 90% 的输出 token。同一个 Claude Opus 5.5，在 low 推理档位下只有 35 分，切到 max 档位才飙升至 58 分，这 23 分涨幅的代价是每个指数任务的运行成本翻了约 10 倍。
- 阅卷漏洞与闭门改题.新榜单发布首日即在 Hacker News 引爆关于部分开源模型显示 N/A 及闭源裁判偏袒的质疑。占 15% 权重的 AA-Briefcase 被查出大模型裁判打分时根本不打开外部源文件核实；同样占 15% 权重的 AA-Omniscience 则在本次更新中由官方自行修正了一批存在歧义和错误的题目，坐实了封闭题库缺乏外部纠错的隐患。
拆解 v5.0 手术刀，9 大维度考出强化学习基建代差
早期公开静态题库（如 MMLU）早已陷入基准饱和与训练数据污染的泥潭。为了防止模型团队靠背题刷榜，v5.0 移除了 SciCode、AA-LCR、IFBench 与旧版 HLE，把 GDPval-AA 降级到附加评测（此前在 v4.2 已剔除 GPQA Diamond），同时将多语言与视觉能力剥离出主指数单独报告。由于跨版本换题导致 v5.0 与 v4.3 分数不再直接可比，官方同步引入了独立的 Progress Index 来追踪长期能力演进。
新的主指数由知识工作、编程、科学、通用四大板块平分，每类各占 25% 权重，共整合 9 项具体评测基准。其中采用私有测试集或保留答案的评测占到总权重的 60%，核心考核方式全面转向多步工具调用与终端实操。
| 评测板块（各25%） | 纳入基准与权重 | 核心考核方式与调整细节 |
|---|---|---|
| 知识工作 | AA-Briefcase v1.1 (15%)、AutomationBench-AA (5%)、GDP.pdf (5%) | 最高 500 轮沙盒长链路交付、SaaS API 自动化、长文档问答 |
| 编程能力 | FrontierCode 2.0 (15%)、Terminal-Bench 4.0 (10%) | 真实开源仓库代码修改、命令行终端任务执行（淘汰 SciCode） |
| 科学推理 | Terminal-Bench-Science 0.1 (15%)、CritPt v2 Hard (10%) | 终端科研计算、40 题私有困难子集符号与 Python 求解 |
| 通用能力 | AA-Omniscience v1.1 (15%)、HLE-Diamond (10%) | 跨 42 个主题 3000 题（10% 准确率与 5% 非幻觉率）、精炼至 1000 题高难推理 |
把追赶者掉分完全归咎于偷看题库作弊，低估了这轮洗牌暴露的工程鸿沟。Nathan Lambert 点出一个残酷现实，如今大模型后训练的分数增长，高度依赖构建与测试任务相似的强化学习环境。强化学习天生会针对给定目标做爬山优化（Benchmaxxing），算力与工程规模有限的团队，往往只能针对少数几个高关注度的公开基准搭建定向训练环境。
当考题一口气铺开到科学终端、办公自动化、真实代码库修改等 9 个维度，且 55% 权重属于消耗 90% 输出 token 的长程 Agent 任务、60% 题目完全不公开时，单点冲榜的捷径彻底失效了。连挂着专有模型标签的 Kimi K3.1 Pro 和闭源的 Grok 4.7 都在闭卷考场里掉下 9 到 12 分，真正依赖公开数据与有限算力的开源权重模型（最高 32 分）处境只会更艰难。只有像 Anthropic 这样具备庞大跨领域强化学习基础设施的头部实验室，才能在全科闭卷考里同时维持后训练增益。对于正靠着高排名去谈融资、稳军心的追赶型实验室来说，拿几个公开基准的漂亮数字已经很难再向投资人交差。
十倍账单买 23 分，排行榜正在变成算力拍卖场
如果只看到全科抗跌的工程实力，那就太小看榜单背后的商业博弈了。古人讲“名实相怨”，当一个单一指标变成全行业的采购风向标时，它掩盖的成本结构往往比展示的分数更致命。
我更在意的是同一个模型在不同推理努力程度（effort setting）下的分裂表现。Claude Opus 5.5 在 low 档位下只有 35 分，其实只比 32 分的 DeepSeek V4.1 和 GLM-5.3 高出 3 分；一旦切到 max 档位，分数暴涨 23 分冲上 58 分榜首，但每个指数任务的运行成本也跟着翻了约 10 倍。
榜首买的不是裸模型基础智商的绝对代差，而是十倍账单砸出来的测试时算力与多领域强化学习基建。
美国闭源实验室靠拉高测试时计算（test-time compute）和长程 Agent 脚手架，在榜单头部建立起 50 到 58 分的商业溢价护城河。把不同算力配置揉成一张单一总分榜单，对企业买家而言是一种视觉误导。绝大多数生产环境的日常问答和简单工作流根本用不上最高 500 轮的沙盒交付，也烧不起 max 档位下占 90% 开销的 Agent token 账单；一旦为了控成本切回 low 档位，顶流闭源模型立刻跌回 35 分水平，与头部开源权重模型并没有本质代差。
科举糊名与闭门改题，防作弊与公信力的死结
把 60% 权重锁进私有测试集虽然挡住了定向刷题，却在发布首日把第三方评测机构推向了另一场信任危机。当考题关起门来打分，外部研究者既无法复现分数，也无法审计考题质量与阅卷漏洞。
这套操作在社区、阅卷和题库三个层面同时撞上了暗礁。Hacker News 评论区当天就对 26 分的开源分差、部分开源权重模型页面直接显示 N/A、以及用闭源模型当裁判是否系统性偏袒美国实验室展开激烈争论。尽管偏袒指控并未得到证实，也有技术评论对部分批评做了纠偏，但黑盒化带来的怀疑裂痕很难弥合。
更直接的证据来自阅卷官与题库本身。在占总权重 15% 的 AA-Briefcase 中，Tim Frenzel 等研究者扒出其官方评分提示词存在明显缺陷，大模型裁判打分时根本不会打开外部源文件去核对内容，只根据引用的存在性、具体性和排版形式给分。而在同样占 15% 权重的 AA-Omniscience v1.1 中，Artificial Analysis 趁本次更新移除了饱和题目与旧公开题，并在跨 42 个主题的 3000 道题库里专门修正了一批存在歧义和错误的题目。
官方自己动手改错题，恰恰证明了封闭题库天然存在缺陷。这很像宋代科举为防舞弊演化出的糊名（弥封）与誊录制度，把考卷锁进黑箱。但旧时科举能服众，是因为落第举子事后能查核原卷，考题本身也经得起天下读书人挑刺；如今的商业评测机构并无天然公权力，一旦把六成考题锁进私有库，考官一边在 AA-Briefcase 里只看排版格式不查源文件真伪，一边在 AA-Omniscience 里关起门来悄悄修改歧义错题，外部开发者就彻底失去了纠错与申诉的渠道。模型哪怕冤死在私有错题上，或者靠捏造逼真引用骗过裁判，外人也无从查验。
穿透总分迷雾，四把尺子与企业选型的真账本
指望靠一个综合总分看懂大模型，本身就是采购偷懒。除了面临私有变体测试与选择性披露质疑（见《The Leaderboard Illusion》论文）的 Arena 人类盲测生态，目前前沿任务评测已经分化出四条截然不同的路线，各自都有明确的测量边界：
| 评测体系 | 核心测量机制 | 覆盖重点与优势 | 明确局限与代价 |
|---|---|---|---|
| Artificial Analysis v5.0 | 9 项评估综合指数（60% 私有） | 侧重长程工具调用、编程与科研 | 90% token 耗于 Agent，难外部审计且裁判不查源文件 |
| Epoch ECI | 用项目反应理论（IRT）汇总 60 个基准 | 跨基准统计广（含 METR 及 ARC-AGI-1/2） | 未纳入 ARC-AGI-3，依赖部分厂商自报数据且取最高分 |
| METR Time Horizons | 对标人类专家 50%/80% 成功率的任务耗时 | 直观反映长程软件与安全任务的持续执行力 | 场景局限于干净的软件任务，16 小时以上测量不可靠 |
| ARC-AGI-3 | 交互式环境中的多步探索与目标推断 | 摒弃静态谜题，纯测抽象适应与未知探索 | 与日常知识库问答、现成工程代码编写关联度低 |
Artificial Analysis v5.0 把四大板块机械平权为各占 25%，只是编辑部的主观裁量。一个只做内部文档清洗的法务团队，和一个主攻 Kubernetes 故障排查的运维团队，根本不可能共用同一套权重。
企业技术采购团队在选型时，不妨直接忽略综合总分，按自身业务单拎子项（看重防幻觉就盯 AA-Omniscience 的 5% 非幻觉子项，看重工程就只看 Terminal-Bench），或者直接抽取自身业务的真实文档与终端脚本做小样本盲测；同时强制用日常负担得起的推理档位（如 low 或 medium）去重算单次任务的 Token 账单。
那把让 Kimi K3.1 Pro 连跌 5 位、量出开源与闭源 26 分差距的新尺子，确实挤出了定向刷题的虚火，考出了多领域强化学习的基建真章。但当榜单分数直接牵动大模型公司的融资估值与商业合同时，一把关起门来改错题、阅卷不核对源文件的黑箱尺子，同样经不起盲目迷信。接下来最值得盯紧的，是 Artificial Analysis 敢不敢引入独立第三方审计私有题库、堵上 AA-Briefcase 的阅卷漏洞，以及那些显示 N/A 的开源模型重测后到底能拿几分。看榜不看十倍账单与考官底牌，终究是替别人的算力溢价买单。