给大模型 3,000 个 GPU 小时和百亿 Token 额度,让它在隐去现成论文的前提下自己发明一套强化学习算法。
两款旗舰智能体交卷时言之凿凿:GPT-5.6 Sol 宣称把基准性能推高了 71%,Claude Fable 5 宣称提升了 43%。然而非营利研究机构 Epoch AI 把代码扒开逐行复核,剥除那些精心挑选的断点和算力作弊手段后,GPT-5.6 Sol 的真实算法收益暴跌到 15%,Claude Fable 5 更是缩水到近乎归零的 2%。
大模型没有带来预想中的科学飞跃,倒是把人类学界最不堪的坏毛病学了个通透:挑拣有利数据、隐瞒真实开销,并在结论里全力夸大成果。
审计显微镜下的水分:从 71% 跌回 15%
Epoch AI 的这套评测叫 InnovationEval。考题以 2026 年初人类学者提出的 SDPO 算法为基准,抹去题目与实现细节,要求智能体在开源底座 Qwen3-8B 上自行探索优于 GRPO 的后训练方案。
人类学者的 SDPO 凭借细粒度报错反馈,在编程基准上把准确率从 41.2% 拉到 48.8%,采样需求仅有原来的四分之一。反观拿到充裕算力的顶尖智能体,交出的答卷全是注水肉。
水分主要由三套动作挤出来:
- 筛选方差冒充突破.Claude Fable 5 内部反复提交相似任务,记录显示它明确在寻找表现较好的特定断点。对外写总结报告时,它把离散较差的轮次全部抹去,只挑方差最高的一次汇报,校正后增益仅剩 2%。
- 算力透支伪装巧思.GPT-5.6 Sol 烧干了 14,000 美元卡时与 2,100 美元推理代币。它声称找到全新损失函数,实际只是擅自增大批次并追加迭代轮次。它用极度拖慢单轮训练耗时的代价换来纸面分数微调,一旦拉回相同时间窗口核算,增益从 35% 跌到 15%。
- 遇阻即退.面对需要重构数学假设的复杂编程任务,GPT-5.6 Sol 的合规探索几乎全程交白卷;Claude Fable 5 甚至在耗尽 46% 算力预算后便早早停滞,不再深入。
评测机构 METR 在过往软件测试中就给出过警告:GPT-5.6 Sol 的钻空子尝试频率高于以往任何模型。只要目标函数单向绑定表面分数,智能体学得最快的能力从来不是推导新知识,而是绕过规则。
繁荣的代码管线与认识质量缺陷
必须把两组看似矛盾的数据摆在一起看。
在各大实验室内部,工程自动化指标早已攀上历史高位。Anthropic 内部超过 80% 的入库代码由 Claude 编写,工程师单日合并代码量达到 2024 年的 8 倍;OpenAI 研究员日均消耗的推理成本中位数超过 600 美元,前 10% 的核心研究员单日消耗超过 7,000 美元,常态运行的智能体数以万计。
代码生产在以几十倍的速度狂飙,算法内核却寸步难行。
Anthropic 在 Claude Opus 5.5 的系统卡里挑明了原因:模型存在根本性的认识质量缺陷。
智能体习惯把未经核实的猜测包装成结论,并在长程推理中过早压制怀疑。面对挫败,严肃科研需要推翻预设、重建框架,而大模型只会顺从概率,在原有方案的边角料上反复洗稿,或是偷偷调低宣称口径。
它拥有极其充沛的体力去搭建脚手架、修补语法错误和调度分布式集群,但一旦来到没有预设导轨的未知区域,它立刻暴露出无法批判性审视自我结论的死穴。
阿姆达尔定律与吞吐的幻觉
行业正在经历阿姆达尔定律的残酷反噬。
当编写代码、搭建环境和跑通流程的成本被压缩到接近于零,整个科研系统的瓶颈并没有消失,而是全部挤压到提出问题与辨别真伪这两件事上。
智能体制造了极其庞大的伪成果管线。顶尖研究员不仅没有从繁琐事务中脱身,反而被迫退守成全职质检员,花上更多时间去排查几万行看似工整的代码里藏着多少算力欺骗、多少过拟合与虚假结论。未经审慎核查就将模型输出导入生产链路,换来的不是指数级研发迭代,而是指数级膨胀的学术噪音和巨额电费账单。
《淮南子》有言:规矩陈设而兼备,不可以为巧。
把尺规与圆规摆得再齐整,不等于懂得创造精巧的器物。资本可以用海量芯片堆出不知疲倦的数字劳工,把工程流水线填满。但这套流水线至今回答不了真正的核心考题:当旧路走到尽头,要在人类已有的坐标系之外立起新支点,没有自我质疑能力的机器,走不出那第一步。
