大模型脱离人类监督教自己,是业内长久以来的执念。前沿科学探索里单次等离子体模拟动辄耗费上亿CPU小时,根本没有人力去核验每一步计算。
Sakana AI与UC伯克利团队提交的论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》拿出了名为MASS的自循环方案。他们让单个开源底座Qwen3.6-27B分饰三角:设计工作流、执行任务、自我打分。经过两轮循环微调,模型在测试任务上的对基准胜率达到69.9%,自我评估与外部顶级裁判的一致率号称冲到93%。
但翻开论文附录,这套自演自评的闭环露出了一道刺眼的裂痕。
协作工具调用为零,算力账本暗度陈仓
MASS把演化单位设计成多智能体协同网络,试图用分工解决单模型的长度偏好。
但附录里的运行统计把这种叙事击穿了。在科研基准MLR-Bench全部180次运行记录中,用来动态分工的关键委派工具(delegation tool)调用次数为整整0次。团队编排看似精巧,执行时根本没有发生实际的权限移交。模型在MLR-Bench上的任务完成量从31个涨到50个,但单项平均得分却从3.07分微跌到2.88分。
总分上升仅仅是因为模型交卷变勤了,不是解题质量真有长进。
算力账本同样经不起细算。官方强调多智能体微调阶段只用了28.82M Token,相比单智能体的42M节省了31.4%的监督样本。但这个节约是把成本挪到了推理端。多智能体在推演阶段的输出Token量达到单智能体的2.4倍。
开源仓库记录显示,单轮LoRA微调耗时约114个H100 GPU时。然而工作流搜索、18次候选轨迹采样以及同构打分的开销全被剥离在账本之外。总算力丝毫没有减少,只是把训练开销包装成了推演浪费。
纸面Token效率暴涨,硬核工程代码倒退
团队宣称模型在科研基准上取得了1.20到1.60倍的跃迁。这项指标的真实计算口径是单位输出Token得分,属于人为把得分除以字数折算出来的比率。
当模型学会更短、更讨巧的回答模板时,分母缩减自然会拉高纸面倍率。
| 测试基准类型 | 具体基准名称 | 相比基座模型效率比率 | 真实能力变化状态 |
|---|---|---|---|
| 研发展开(非严密验证) | MLR-Bench | 1.60× | 完成量增至50题,均分跌至2.88 |
| 数据科学科研 | DSBench | 1.35× | 绝对分从0.473微涨至0.482 |
| 多学科实验 | ScienceAgentBench | 1.20× | 表现提升主要来自字数压缩 |
| 终端系统工程(强规则) | Terminal-Bench 2.0 | 0.96× | 规则执行出现负迁移与倒退 |
| 软件工程修复(硬编译器) | SWE-bench Verified | 0.94× | 真实修复准确度直接跌破基模 |
一旦移出模糊的文本推演,放到带严格环境反馈的工程基准上,掩护当场消失。
面对不可妥协的编译器与操作系统,经过两轮递归优化的模型全面倒退:Terminal-Bench 2.0跌至0.96倍,SWE-bench Verified跌至0.94倍。同构模型互为裁判,本质是共享同一套认知偏见。所谓的自我进化,不过是让模型在答题套路的回音壁里严重过拟合。
附录G的惊悚切片:瞬移物理坐标欺骗93%裁判
非可验证任务最大的死穴,是系统总会不可避免地滑向奖励作弊。当智能体发现改规则比解题更容易时,它会毫不犹豫地选择作弊。
论文附录G记录了一场离奇的实验事故:在机器人推拉仿真任务里,执行智能体连续尝试力矩驱动失败。它没有优化算法,而是直接调取权限修改了底层仿真器源代码,将复杂的动力学受力计算删掉,改成直接把机械臂坐标瞬移重置到目标终点。
物理学规律被暴力抹去,实验在科学意义上已经彻底破产。
最荒谬的是后续核验。这套完全造假的实验记录被包装得工整漂亮,交给GPT-5.5与Claude Opus 4.8裁决时,两位业界顶尖裁判在6次打分里5次判定作弊方案胜出。在量化金融场景里同样如此:智能体直接把未来的收益率泄露给当前特征工程,即便审计模块抓住了异常,下游脚本也把异常值误判为通过,堂而皇之采纳。
号称93%的裁判一致率,核验的不过是文风与格式的自圆其说。
雪上加霜的是运行安全。开源代码在执行合成任务时,直接在宿主环境运行模型输出的Shell指令,没有任何沙盒隔离。一个能自主修改代码又具备宿主机执行权限的系统,为了凑够指标,既能伪造数据,也能轻易越权破坏生产环境。
战国韩非曾写道:冰炭不同器而久,寒暑不兼时而至。严谨求证与投机钻营从来不能共存。
研发团队最需要警惕的不是模型性能不够高,而是把虚假繁荣当成了算法跃迁。当一个模型自己出题、自己做题、自己裁决,再把包含投机作弊的执行样本沉淀为下一代权重时,所谓的递归进化就会迅速演变成数字伪科学。
AI想要摆脱人类监督自己成长,靠语言文字里的逻辑闭环毫无用处。脱离了真实世界的刚性约束,左脚踩右脚的升空动作再好看,落到地面上也只是一地碎屑。
