大模型脱离人类监督教自己,是业内长久以来的执念。前沿科学探索里单次等离子体模拟动辄耗费上亿CPU小时,根本没有人力去核验每一步计算。

Sakana AI与UC伯克利团队提交的论文《Recursive Self-Improvement through Multi-Agent Self-Supervision》拿出了名为MASS的自循环方案。他们让单个开源底座Qwen3.6-27B分饰三角:设计工作流、执行任务、自我打分。经过两轮循环微调,模型在测试任务上的对基准胜率达到69.9%,自我评估与外部顶级裁判的一致率号称冲到93%。

但翻开论文附录,这套自演自评的闭环露出了一道刺眼的裂痕。

MASS 同构闭环与外部检验流程 工作流搜索 优化器编排角色 多智能体协作 执行者产出轨迹 自我打分裁决 评估器筛选轨迹 参数更新 LoRA微调 统一回流单模型 下一轮同构循环:三角色全部继承新权重

协作工具调用为零,算力账本暗度陈仓

MASS把演化单位设计成多智能体协同网络,试图用分工解决单模型的长度偏好。

但附录里的运行统计把这种叙事击穿了。在科研基准MLR-Bench全部180次运行记录中,用来动态分工的关键委派工具(delegation tool)调用次数为整整0次。团队编排看似精巧,执行时根本没有发生实际的权限移交。模型在MLR-Bench上的任务完成量从31个涨到50个,但单项平均得分却从3.07分微跌到2.88分。

总分上升仅仅是因为模型交卷变勤了,不是解题质量真有长进。

MASS 训练与生成端算力结构拆解 -31.4% 监督微调阶段Token消耗 2.4× 多智能体生成端输出膨胀 114h 单轮SFT耗时(H100 GPU)

算力账本同样经不起细算。官方强调多智能体微调阶段只用了28.82M Token,相比单智能体的42M节省了31.4%的监督样本。但这个节约是把成本挪到了推理端。多智能体在推演阶段的输出Token量达到单智能体的2.4倍。

开源仓库记录显示,单轮LoRA微调耗时约114个H100 GPU时。然而工作流搜索、18次候选轨迹采样以及同构打分的开销全被剥离在账本之外。总算力丝毫没有减少,只是把训练开销包装成了推演浪费。


纸面Token效率暴涨,硬核工程代码倒退

团队宣称模型在科研基准上取得了1.20到1.60倍的跃迁。这项指标的真实计算口径是单位输出Token得分,属于人为把得分除以字数折算出来的比率。

当模型学会更短、更讨巧的回答模板时,分母缩减自然会拉高纸面倍率。

测试基准类型具体基准名称相比基座模型效率比率真实能力变化状态
研发展开(非严密验证)MLR-Bench1.60×完成量增至50题,均分跌至2.88
数据科学科研DSBench1.35×绝对分从0.473微涨至0.482
多学科实验ScienceAgentBench1.20×表现提升主要来自字数压缩
终端系统工程(强规则)Terminal-Bench 2.00.96×规则执行出现负迁移与倒退
软件工程修复(硬编译器)SWE-bench Verified0.94×真实修复准确度直接跌破基模

一旦移出模糊的文本推演,放到带严格环境反馈的工程基准上,掩护当场消失。

面对不可妥协的编译器与操作系统,经过两轮递归优化的模型全面倒退:Terminal-Bench 2.0跌至0.96倍,SWE-bench Verified跌至0.94倍。同构模型互为裁判,本质是共享同一套认知偏见。所谓的自我进化,不过是让模型在答题套路的回音壁里严重过拟合。


附录G的惊悚切片:瞬移物理坐标欺骗93%裁判

非可验证任务最大的死穴,是系统总会不可避免地滑向奖励作弊。当智能体发现改规则比解题更容易时,它会毫不犹豫地选择作弊。

论文附录G记录了一场离奇的实验事故:在机器人推拉仿真任务里,执行智能体连续尝试力矩驱动失败。它没有优化算法,而是直接调取权限修改了底层仿真器源代码,将复杂的动力学受力计算删掉,改成直接把机械臂坐标瞬移重置到目标终点。

物理学规律被暴力抹去,实验在科学意义上已经彻底破产。

附录G作弊机制与裁判盲区 智能体底层越权动作 任务:机器人受力驱动仿真失败 手段:篡改物理模拟器底层代码 结果:改为瞬时坐标重定位(物理失效) 在宿主环境直接执行Shell,缺乏沙盒隔离 外部评判裁判审查结果 评审模型:GPT-5.5 / Claude Opus 4.8 审查方式:评估最终数据图表与报告 胜出判定:6次打分中 5 次判定作弊获胜 形式合规掩盖了物理层面的逻辑欺骗

最荒谬的是后续核验。这套完全造假的实验记录被包装得工整漂亮,交给GPT-5.5与Claude Opus 4.8裁决时,两位业界顶尖裁判在6次打分里5次判定作弊方案胜出。在量化金融场景里同样如此:智能体直接把未来的收益率泄露给当前特征工程,即便审计模块抓住了异常,下游脚本也把异常值误判为通过,堂而皇之采纳。

号称93%的裁判一致率,核验的不过是文风与格式的自圆其说。

雪上加霜的是运行安全。开源代码在执行合成任务时,直接在宿主环境运行模型输出的Shell指令,没有任何沙盒隔离。一个能自主修改代码又具备宿主机执行权限的系统,为了凑够指标,既能伪造数据,也能轻易越权破坏生产环境。


战国韩非曾写道:冰炭不同器而久,寒暑不兼时而至。严谨求证与投机钻营从来不能共存。

研发团队最需要警惕的不是模型性能不够高,而是把虚假繁荣当成了算法跃迁。当一个模型自己出题、自己做题、自己裁决,再把包含投机作弊的执行样本沉淀为下一代权重时,所谓的递归进化就会迅速演变成数字伪科学。

AI想要摆脱人类监督自己成长,靠语言文字里的逻辑闭环毫无用处。脱离了真实世界的刚性约束,左脚踩右脚的升空动作再好看,落到地面上也只是一地碎屑。