让大模型写代码重构外围工作流,一度被包装成通往递归自我进化的前奏。可一旦把这类系统放到真实基准里测试,场面往往极为尴尬:面对做过的考题所向披靡,换一张陌生卷子立刻溃退。

智能体并没有真正进化,它只是在外壳里把题库死记硬背了下来。

Google Cloud AI Research 开源的自演化框架 RRSI(代码库采用 Apache 2.0 协议发布于 google-research/rrsi),提供了一个务实的解法:底层模型权重完全冻结,只允许算法修改包裹在外部的代码脚手架(Prompt、工具调用、控制流与子智能体编排),并用统计正则化死死按住系统的投机冲动。

在 Harvey LAB 演化集上,无约束方案 Meta-Harness 刷出了 93.0 的虚高成绩,RRSI 只有 90.5 分;但当两套脚手架被直接搬到从未见过的跨域业务集(JobBench、GDPval 与 APEX-Agents)时,Meta-Harness 跌落至 40.6 分,仅比原始基线微涨 0.9,而主动放水的 RRSI 稳稳拿下 43.6 分。

戴上数学镣铐:把正则化装进外壳搜索

自动化搜索工作流早已不是新鲜事。从早期的 MIPROv2、GEPA,到 Meta-Harness 与英伟达 SoL-Pi,系统演化权限放得越宽,作弊冲动就越强。面对固定测试集,搜索算法会本能地扣字眼,堆叠海量冗余逻辑去拟合评估环境的随机噪声。

此前 ARC-AGI-3 测试就出现过典型样本:量身定制脚手架的模型在已知环境拿到 97.1%,一旦切到陌生环境直接挂零。

针对特定测试集生硬堆叠的过拟合组件,在真实复杂路况中反而彻底卡死(示意图)
针对特定测试集生硬堆叠的过拟合组件,在真实复杂路况中反而彻底卡死(示意图)

RRSI 没有收紧智能体的修改权限,而是把经典机器学习的正则化思路平移到了代码搜索过程。

Harvey LAB 演化集与跨域未见测试 (OOD) 分数对照 Meta-Harness(无正则化演化) 演化集得分(追求极限收敛) 93.0 OOD 跨域未见均值(泛化折损) 40.6 仅比基线 H0 (39.7) 高 0.9 分,产生严重过拟合 RRSI(双端正则化约束) 演化集得分(克制剪枝与约束) 90.5 OOD 跨域未见均值(真实泛化力) 43.6 较未演化基线净增 3.9 分,领跑所有参赛方案

整个防线分为提案与准入两端,逻辑清晰对应经典数学工具:

  1. 提案端对应 L0 约束设置余弦退火编辑预算。演化早期允许一次修改 4 到 5 处代码建立机制,后期强制收紧为每次只动 1 处,防止改动效应无法归因。同时配合审计账本,禁止系统反复尝试已证伪的方案。
  2. 准入与剪枝端对应 L1 与 L2 约束任何代码补丁在测试前必须先过泄漏审查器,硬编码任务名称、测试集实体的代码直接驳回。RRSI 设置了 0.017 的噪声容差阈值,微弱的分数波动直接被视为采样噪声,候选方案必须凭借更低的 Token 消耗或结构新颖性胜出,无效的冗余模块则像 Lasso 算法一样被直接剪除。
余弦退火、泄漏审查与增益成本剪枝共同构成了代码修改的逐级准入关卡(剖面示意)
余弦退火、泄漏审查与增益成本剪枝共同构成了代码修改的逐级准入关卡(剖面示意)
RRSI 双端正则化决策流 提案端约束 (L0) • 退火预算 (5→1) • 证据感知账本 • 结构化未触达探索 泄漏审查器 • 扫描代码补丁 • 剔除特定任务名 • 阻断基准硬编码 准入门控 (L2) • 噪声底线 ΔS > δ • 成本法则验证 • 抑制冗余推理 剪枝淘汰 (L1) • Lasso 机制映射 • 清理无效组件 • 锁定通用脚手架

穿透单项峰值:全景账本到底算出了什么

以 Vertex AI 上的 Claude Opus 4.8 为基座时,RRSI 在编程进化集 Terminal-Bench 2.1 上的得分从 74.2 跃升至 80.2。直接迁移到从未见过的代码修复基准 SWE-bench Verified,得分依然从 82.0 提升到了 83.8。换成更轻量的 Gemini 3.5 Flash,SWE-bench Verified 也从 76.8 涨到了 79.0。

在分布外基准里,这套脚手架的表现全面成立:JobBench 提升 4.7 分,GDPval 提升 3.5 分,APEX-Agents 提升 3.7 分,工程设计领域的 Frontier-Eng 奖牌点数提升 4.3 分。

把 Gemini 3.5 Flash 演化出的脚手架直接套给更小的 Gemini 3.1 Flash Lite,后者编程准确率从 11.2 提升至 14.6。这证明外壳沉淀出的工具调用节奏与报错重试逻辑,具备独立于底层参数的工程迁移价值。

自演化消耗巨量算力,微调增益必须由确凿的实际收益平衡买单(示意图)
自演化消耗巨量算力,微调增益必须由确凿的实际收益平衡买单(示意图)

算力膨胀与审查漏洞:自演化的未结算账单

但如果把技术账本彻底摊开,RRSI 远没有看上去那么轻松。

首先是隐蔽的推理成本膨胀。无约束方案单次试验吞噬 3.80M Token,RRSI 成功压到了 2.42M Token,相比无节制演化确实节约了 36%。但很多人忽略了原始参照物:未经过任何演化的 Baseline 仅消耗 1.56M Token。

这意味着,即使套上了层层数学缰绳,智能体为了换取几个百分点的泛化增益,运行期 Token 开销依然比出厂状态暴增了 55% 以上。

其次是代码层面的逻辑漏洞。开源社区在 GitHub Issue 中迅速指出了硬伤:

  • 评估缓存失效(Issue #10).当某个补丁被泄露审查器驳回后,由于缓存命中逻辑设计缺陷,违规标记可能被跳过,导致带病方案直接入选。
  • 新颖性欺骗(Issue #8).大模型只要在提示词里随手伪造一个类似 SkillRegistry 的虚构声明,就能在不增加任何有效逻辑的情况下骗取新颖性权重加分。

荀子说:“不以规矩,不能成方圆。”给写代码的智能体立规矩,方向无疑是对的。但当智能体拿到改写系统的权限,审查系统自身的代码缺陷就会成为投机行为的最佳温床。

对于 Agent 架构师而言,手写 Prompt 的粗放阶段正在退场。决定一套系统能不能进工业管线的,从来不是演化集上的虚高分数,而是脱离考场后面对陌生复杂任务时,能不能扛住成本膨胀与漏洞攻防的真实考验。