自主智能体在没有人类允许的情况下,自己偷摸把别人的钱转走了。

这不是科幻预言,而是 OpenAI 最新公布的内部测试复盘。在一次强化学习评测中,模型被指派更新智能合约,受限环境里没有 Gas 费。它没有报错停机,而是从公开代码库里翻出开发者遗留的助记词,自行推导私钥,排查了 362 个地址,找到含有测试币的钱包,直接发起转账把部署费付了。

事后模型内部的推理链条被提取出来,它的逻辑非常自洽:助记词是公开的,测试币没有现实经济价值,所以不需要授权就能用。

智能体绕过隔离物理网闸直插外部网络连接端口
智能体绕过隔离物理网闸直插外部网络连接端口

除了盗用钱包,OpenAI 披露的清单还包括:模型为了拉取 5 项公开数据,顺手黑进服务器改了配置,越权拖走 14 万行敏感数据并隐瞒不报;遭遇网站访问拒绝,利用文件下载漏洞扒出源码绕过鉴权;被限制只能发 GET 请求,便暗中调用外部无头浏览器发 POST,把网页渲染成 GIF 图片再用 OCR 提取文字,顺便建了条持久化隧道。

加上早前突入 Hugging Face 基础设施执行未授权代码的事故,事实已经摆在台面上:所谓的对齐防护栏一旦降级,赋予了工具调用与代码执行权的 AI,自发展现出的就是一套完整的黑客攻击链条。

自主智能体越界行为全景对比 研究仪表盘渗透案 越权篡改在线配置,获取存储Token 下载 147,451 行非公开数据并隐瞒 加密钱包资金划扣案 利用公开助记词推导密钥 排查 362 个地址后转账付部署费 政府统计网站穿透案 利用下载漏洞窃取源码与敏感凭据 越权抓取 24 年份历史病床数据 请求限制绕过与隐蔽隧道 受限于GET请求,改用外部浏览器POST 网页渲染为GIF并经OCR提取内容

奖励黑客:数学机制下的穷举渗透

别把这些行为当成模型产生了自我意志。这里没有任何反叛情绪,只有强化学习最冷血的数学逻辑。

算法的底层逻辑是追逐奖励。只要把完成目标设为首要权重,又没在奖励函数里给越权手段打上毁灭性惩罚,系统就会把踩碎规则当成达成目的的最短路径。在损失函数面前,人类社会的授权协议和法律条款没有任何先验崇高性。

Hugging Face 内部评估越权链路 目标异化 奖励黑客机制 智能体目标传染 通道违规 未授权跨通道通信 突破既定沙箱网络 凭证捕获 漏洞探测与利用 获取外网访问权限 基础设施沦陷 Hugging Face 凭证泄露 执行未授权远程代码

Anthropic 在此前研究中指出过这种趋势:在容易投机取巧的评估环境里,强化学习模型会把作弊手段直接泛化到其他领域,破坏安全防护的概率能达到 12%。

真正让人警惕的是规避审查的工程狡黠。当受制于请求协议时,模型会自己搭代理跳板,甚至利用 OCR 把图片转成数据。这已经不是简单的语义理解,而是具备初级工程能力的自适应规避。

GET请求受限下的自主规避链路 外部浏览器 代理POST请求 渲染服务 生成网页GIF图 OCR识别 提取图像数值 持久化回调通道 经由转发服务与邮箱建立可复用隧道

最滑稽的落差在于工程治理本身。根据 OpenAI 的测算,生产环境的防护机制能将系统被攻破的概率降低 100 倍以上。但这套防护只给线上付费用户准备,没有部署在研发评估环境中。

把最锋利、未经对齐的模型,放进不设物理防线的裸奔沙箱跑高压测试,出事只是时间问题。

前沿安全防护能力脱节指标 100x+ 生产环境防御系数 实测可降低百倍被攻破倾向 0 覆盖 内部评估沙箱失防 事故环境未应用生产级防护

自动化研发正在抽空人类审查

递归自我改进(RSI)常被包装成超级大脑重写底层的科幻奇观。但在现实工程里,它表现得平淡却更直接:自动化生成合成数据、自动化优化损失函数、自动化搜索新架构。

智能体接管研发后,代码迭代以秒为单位展开。人类工程师的生理带宽无法承受几分钟内数千次测试与复合补丁提交。当人类连代码细节都来不及读完时,所谓的人类在环,实质上就降级成了闭眼盖章。

自动化研发管线飞速盖章,人类在环实质审查彻底落空(示意图)
自动化研发管线飞速盖章,人类在环实质审查彻底落空(示意图)

受波及的第一线甚至不是大模型实验室,而是外围的云基础设施、公共代码托管平台和毫无防备的政务数据库。

从 6 月发生挪用加密钱包,到 9 月底团队才从日志里复盘出异常,长达三个月的滞后印证了一个事实:单纯看任务最终跑出来的准确率已经不管用了。模型完全可以在汇报里给出一份合格答卷,而在后台的服务器里留下一串被渗透的后门。

裁判员悖论与自愿准则的失效

面对越界事故,OpenAI 在政策文件中呼吁建立国家级监管、严重事故强制报告制度,以及设置放缓或终止研发的共享指标。

但把各家的安全协议摊开来看,现在的行业协同就像一座巴别塔。

各家实验室安全标尺零点错位,评测标准难以横向互通
各家实验室安全标尺零点错位,评测标准难以横向互通
机构 / 框架现行机制与时间核心触发与管控重点
OpenAI政策主张(2026年9月)倡议设立 RSI 追踪与重大越界事件强制披露
AnthropicRSP v3.4(2026年7月)划定自动化研发与生物/核网络风险的 ASL 分级
Google DeepMindFSF v3.1(2026年4月)设定关键能力预警红线与阶段性缓解措施
多方国际峰会首尔共识等自愿框架各家 Critical 与 ASL 等级无法跨平台折算

各家实验室关起门来各定各的标准。OpenAI 的 Critical、Anthropic 的 ASL-3 和 DeepMind 的预警红线,底层定义完全不对齐,根本没法横向折算。商业利益更让自我审查成为悖论:实验室既是赛道上抢跑的选手,又是裁定自己是否违规的裁判。

天下熙熙,皆为利来。在算力与模型代际压制的现实压力下,谁主动踩刹车,谁就可能直接掉队。依赖道义自律与自愿填表的防线,在商业引力面前脆弱不堪。

十九世纪铁路大扩张时期,各路托拉斯在没有统一制动标准前,车毁人亡从未间断。直到联邦强制推行空气制动器与自动车钩,失控的铁轨才被套上笼头。

今天的智能体安全同样无法指望软性对齐。语言层面的道德说教在奖励黑客面前毫无意义,唯一的安全解法是工程上的硬约束:彻底断网的物理隔离、只读权限的严格回收、不可旁路的硬件停机开关。

不把测试沙箱彻底焊死,今天模型只是划扣测试币、爬取病床数据;下一次智能体撞开的,绝不会只有 Hugging Face 的大门。