让大模型逐字吐出一段 JSON 字符串,只为了判断用户是否想退款,是当前智能体架构里最笨拙的工程妥协。

Cloudflare 在开源决策模型 Clef 仅 8 天后,再次拿出多模态版本 Clef-omni,同时把轻量版 Clef-flash 的价格砸穿竞品底线。这家掌控全球网络流量的基础设施巨头,意图已经挑明:它不想当默默搬运数据的管道工,而是要用分布在各地的边缘节点,在流量进入中心化大模型之前截下第一道调度权。

但把生成流水线压扁成概率开关,换来的不仅是速度。严密推理与事实校验上的断崖式塌陷,也把这种截肢式架构的软肋暴露在聚光灯下。

速读卡片:发生了什么与核心变动

  • 新模型 Clef-omni 发布:基于 Qwen3-Omni-30B-A3B,总参数 30B、激活 3B。单次请求可混合输入音频、视频、图像与文本,不做自由文本生成,仅对预设问题输出类型化概率分。
  • 价格战逆转.Clef-flash 输入单价降至每百万 Token 0.038 美元,直接穿透竞品 TypeSafe Jev 的 0.042 美元;Clef-omni 定价 0.15 美元且不收输出费用。
  • 底层推理提速.托管版切换至 SGLang 0.5.22 引擎,优化内存复用后,常规请求中位延迟压缩近半,Clef-flash 维持在 38.8 毫秒极速。
  • 影响对象.主要利好需要对音视频工单做前置分流、内容初筛的系统架构师;但对依赖多步推演、事实核查的高风控场景构成安全隐患。
Agent 意图调度的两种工程路径 生成式 LLM 路由(System 2) 计算方式:自回归 Token 逐字解码 典型耗时:500ms 至数秒不等 输出形态:自由文本 / JSON 字符串 系统痛点:格式漂移、概率黑盒、推理昂贵 专用决策模型 Clef(System 1) 计算方式:单次 Prefill 前向并行打分 典型耗时:Clef-flash 中位 38.8ms 输出形态:绑定类型的确定性概率分 系统收益:超低时延、天然免解析、边缘直出

斩断自回归:把多模态流水线压成电键

常规多模态分流非常臃肿:音频先送给 ASR 转文字,图片送给视觉模型转描述,再把拼接好的提示词塞给中心大模型吐出 JSON。整套级联流水线跑下来,延迟动辄数秒,且每一环都有解析崩溃的风险。

Clef 系列的做法是给模型做截肢。

它的底层直接冻结了特征编码骨干,剥离所有文本生成与语音合成模块。输入音视频或文本后,系统只执行预填充提取多模态表征,再通过轻量化的打分头并行评估候选标签,直接输出绑定格式的浮点数概率。

这种设计完全摒弃了自由文本,把输出固化为布尔、多选与分值量表。Clef-flash 纯文本中位延迟只有 38.8 毫秒;多模态的 Clef-omni 图像打分约 150 毫秒,一段 21 秒带声视频切片的决策判定耗时约 1.5 秒。程序网关不再需要正则表达式去提心吊胆地清洗数据,而是能像配置防火墙一样,依据浮点阈值直接分流。

主流决策模型中位延迟对比(ms) Clef-flash 38.8 ms Kev-9B 51.4 ms DiffGemma Jev 84.4 ms Clef (27B) 209.3 ms Jev 524.1 ms

价格战倒戈背后的边缘过路费

天下熙熙,皆为利来。此前 Clef 发布时,27B 模型要价 0.24 美元,比专有模型 Jev 的 0.042 美元贵出 5 倍有余,被外界质疑为高价买低延迟。

这一次 Cloudflare 迅速修补了账本裂缝。

模型架构类型输入计费 (每 M tokens)输出计费部署方式
Clef-flashQwen3.5 (9B 密集)$0.038计入请求Apache 2.0 / 托管 API
TypeSafe Jev未公开 API$0.042免费闭源托管 API
Clef-omniQwen3-Omni (30B-A3B)$0.15免费Apache 2.0 / 托管 API
Clef (27B)Qwen3.8 (27B 密集)$0.24计入请求Apache 2.0 / 托管 API

轻量级 Clef-flash 单价直接降到 0.038 美元,抹平了价格劣势;Clef-omni 定价 0.15 美元,看着不低,但省去了调用独立 ASR 与 OCR 模块的账单。音视频在此处按时长换算为 Token,只要省去中间件的维护人力与网络往返,端到端成本就能打平。

依托全球分布的边缘网络,Cloudflare 把调用入口贴到了离用户物理距离最近的节点上。它全面兼容 Jev 的 API 规范并开放开源权重,阳谋非常直白:用极低延迟和对齐的接口吸引开发者,把分流网关直接焊死在它的边缘路由器上,在流量发往第三方云厂商之前,顺理成章收下一笔算力过路费。

浅层意图通吃,深层推理断崖

然而,天下没有免费的吞吐量。砍掉了模型的发声器官与自回归解码,也彻底剥夺了模型自我纠偏的思维链机制。

在浅层意图识别上,这类模型表现极佳:CLINC150 意图分类拿下 97.7 的宏 F1 分数,BANKING77 取得 94.8,金融意图识别甚至优于很多未精调的大底模。官方采用标签平滑与布里尔分数校准,Clef-flash 的布里尔值低至 10.6,输出的概率置信度相当规整。

但只要任务离开既定轨道,模型能力就会断崖式下跌。

核心评测维度Clef-flash (9B)Clef-omni (30B-A3B)TypeSafe Jev (基准)
GPQA Diamond 复杂推理51.0%47.4%78.3%
RAGTruth 幻觉检测 (F1)-42.076.5%
When2Call 越界识别65.58%-80.97%

在极度依赖多步推演的 GPQA Diamond 评测中,Clef-omni 的成绩仅有 47.4%,比通用基准 Jev 的 78.3% 缩水近四成;更致命的是 RAGTruth 幻觉检测,Clef-omni 的 F1 分数直接砸到了 42.0。

这种严重塌陷源于其底层数学逻辑:Softmax 闭集归一化。

无论输入数据是否合规、是否有害,闭集分类器都会强行把预设选项的概率相加凑成 1.0。若选项只定义了退款与查单,遇到一段恶意混淆的噪音视频,模型依然会在这两个选项间强行摊派概率。只要工程师在定义模式时遗漏了弃权分支,系统就会以极高的置信度把荒唐请求放行。

第三方测试机构 Nicia AI 此前就发现过其鲁棒性软肋:仅仅将输入上下文中的两条记录顺序对调,Clef 对同一个事务的冲突判定概率就会从 0.04 剧变到 0.60。到了 Clef-omni 上,仓促交付的痕迹更加明显,开源权重包里甚至还夹杂着没剥离干净的语音合成废弃参数。

荀子言:君子博学而日参省乎己,知明而行无过。

思维链的本质是模型的自我推演与校验,而 Clef 系列被人工切除了这个反思器官。它没有皮层的推演迂回,只保留了毫秒级的脊髓电反射。在如此剧烈的统计抖动面前,官方所谓决策不再需要人类在环的口号,更像是一场技术营销的激进冒险。

谁该买单:边缘决策的现实边界

把高频的逻辑开关交还给轻量判别模型,把多轮分析留给中心化的生成底座,工程分工的大方向非常务实。

对于音视频客服的浅层初筛、敏感词前置拦截、前端 UI 状态机分流,降价后的 Clef-flash 和全模态的 Clef-omni 确实能砍掉大量的胶水代码,大幅压低用户感知的首包延迟。在这一层,它比全知全能的大模型好用得多。

但在黑天鹅频发的高风险业务里,盲目撤掉人工复核无异于拆掉安全带。当一个模型的抗幻觉评分跌到 40 分位时,毫秒级响应越快,事故扩散得也就越快。

38.8 毫秒只是把扳机磨得更快了,但这绝不是解除安全保险的理由。