把一个大模型网关的守门员做到 26.09B 参数，听着像一笔赔本买卖。如果只是为了判断一句提示词该发给便宜模型还是昂贵模型，在网关层常驻一个近 27B 的庞然大物，单张照片问一个问题就要等 304 毫秒，算力账本完全倒挂。
但如果你对着同一张图一口气并发连问 255 个问题，p50 延迟却只需要 2.16 秒，平摊下来每个判别耗时骤降到 8.5 毫秒。这就是 vLLM Semantic Router 团队开源 Decision 3.0 家族及最新 vllm-sr/d3-ultra 模型的核心算盘。他们彻底放弃了让大模型自回归生成 JSON 文本的传统路径，改成单次前向传播直接吐出概率与视觉边界框，试图用一个重型多模态决策器，吞并网关层原本零散的十几个分类、审核与检测小模型。
- 核心动作.vLLM Semantic Router 基于 Apache-2.0 协议开源 Decision 3.0 家族（0.85B 至 26.09B 五档尺寸），并最新放出 26.09B 的
d3-ultra（支持 131,072 tokens 上下文，内置 0.46B 视觉编码器）。 - 机制变化.不生成自由文本，直接对文本、JSON、图像和视频输出单选、多选、是非、打分、视觉边界框（bounding boxes）及视频追踪的结构化概率。
- 关键效率.在单张 AMD Instinct MI325X 上，d3（26.09B）单次文本决策中位数延迟为 55 毫秒，d3-flash（8.39B）仅 19.1 毫秒；d3-ultra 单图 1 问耗时 304 毫秒，但并发 255 问平摊每问仅 8.5 毫秒。
- 受影响方与争议.AI 网关与多模态流水线架构师直接受益，但必须面对私有评测集无法复现、纯文本多问上下文互相干扰、26.09B 模型视觉定位反而输给轻量版 d3-turbo，以及分类概率与下游真实成功率断层四大工程暗坑。
甩掉 JSON 生成包袱，26.09B 守门员靠批量提问摊平账本
长期以来，架构师为了拦截越狱请求或把提示词分流到划算的后端模型，往往要调用另一个大模型吐出一段 JSON 再做文本解析。这种做法延迟动辄数百毫秒，还常遇到括号缺失导致的解析崩溃。
Decision 3.0 家族直接把路由退行回纯粹的分类器与信号提取器形态。全系覆盖 d3-lite（0.85B）、d3-nano（2.21B）、d3-mini（4.54B）、d3-flash（8.39B）以及 26.09B 的旗舰 d3 与最新演进版 d3-ultra。该系列全部基于通义千问 Qwen 基座微调（27B 级建立在 Qwen3.8-27B 与 Qwen3.5 架构之上），每款均内置 0.10B 至 0.46B 的视觉编码器，最高支持 1.6 百万像素图像与视频输入。
在 AMD Instinct MI325X 单卡单请求测试中，旗舰 d3 的中位数延迟压到了文本 55 毫秒、图像 273 毫秒、10 秒视频 553 毫秒；主打高吞吐的 d3-flash 文本延迟更是只有 19.1 毫秒（图像 149.4 毫秒、视频 407.6 毫秒）。配合 Semantic Router 包含的 13 种信号提取管线、布尔策略引擎、13 种模型选择算法以及解耦的 HaluGate 幻觉拦截插件，这套体系足以在主力模型接客前完成极低成本的首轮分诊。
而到了最新放出的 d3-ultra，团队更是把野心从简单分流扩张到了全量信号车间。早期像 RouteLLM 这类工具，核心逻辑是靠轻量级分类器在强弱模型间做二元切分，2024 年评测时能在保留 GPT-4 95% 性能的前提下砍掉 85% 以上的推理成本。如果只干这活，26.09B 的 d3-ultra 绝对是算力浪费。
它的真正解法是单次读取共享输入、批量回答上百个问题。d3-ultra 通过自定义 D3Model 加载，64 个文本层采用 3 个线性注意力层加 1 个全注意力层交替的 3:1 混合注意力结构（底层位置编码配置达 262,144，单问题服务上下文上限为 131,072 tokens）。当企业网关面对一张图片或长文档时，需要同时做合规检查、几十种业务意图分类、质量打分和目标框选。在 MI325X 上，单图问 1 题要 304 毫秒，问 16 题只需 429 毫秒，问 64 题为 873 毫秒（p90 为 874 毫秒），连问 255 题也只要 2.16 秒（p90 为 2.20 秒）。
账面逻辑很清楚。只有当单次请求需要并发提取十几个以上的文本与视觉细粒度信号时，部署 26.09B 的 d3-ultra 才算得过账；只做强弱模型省钱分流的团队，留守轻量级路由器或者 8.39B 的 d3-flash 才是务实之选。
榜单错位与黑盒评测：开源权重不等于透明交付
把开源决策模型推上牌桌与 Perplexity Decider、Torchcast Decision、GLiDE V1.2 对垒时，跑分表上的数字看着极其亮眼。d3-flash 在 Jev Decision Index 0.3.1 文本得分达 59.0，比上一代 9B 模型涨了 11.0 分，甚至反超了上代 27B 模型的 55.9 分；旗舰 d3 文本综合得分 64.7（早期快照为 64.1，公共评测集亮点得分 65.45），视觉看板 71.6，视频感知拿到 77.4。而在最新 SR-Text 测试中，d3-ultra 更是刷出了 87.2 的高分。
但作为长期看跑分把戏的人，我对这套成绩单只买一半的账。拆开元数据就会发现，尺子本身存在严重的版本错位与黑盒不对称。
| 决策模型 | 参数规格 | Jev Index (v0.3.1) | SR-Text (准确率) | SR-Box (IoU≥0.5) | 开源与评测状态 |
|---|---|---|---|---|---|
| d3-ultra | 26.09B | 未披露 | 87.2 | 58.2% | Apache-2.0（评测集私有） |
| d3-turbo | 轻量同系 | 未披露 | 83.1 | 60.0% | 同系参照对比 |
| d3 (旗舰) | 26.09B | 64.7 (视觉71.6) | 未披露 | 未披露 | Apache-2.0 |
| Perplexity Decider v1.1 | 26B | 62.8 (视觉70.6) | 未披露 | 未披露 | Apache-2.0 |
| GLiDE V1.2 / d1-ultra | 竞品组 | 未披露 | 85.1 / 83.4 | 未披露 | d1-ultra 为无版本锁定 API |
| Torchcast Decision | 27B | 59.9 (0.2.1版为65.0) | 未披露 | 未披露 | 专有 / 跨版本映射落差大 |
先看尺子的版本漂移。Torchcast 在早先的 Decision Index 0.2.1 体系中自测得分高达 65.00，但换到 d3 采用的 0.3.1 跨版本评估表里，映射得分直接掉到了 59.9。再看 d3-ultra 赖以成名的 SR-Text 与 SR-Box 两大基准，这两个评测集目前完全私有未公开，连同模型的训练数据来源、配比与训练流程一起被锁在黑盒里。
更难说服工程师的是不对称混测。官方拿本地跑的 d3-ultra 去和外部 API 对比，不仅 d1-ultra 的 API 没有锁定版本，另一款参测的 Jev 1.14 模型因为图片尺寸限制触发了拒答与无效响应，被测试脚本直接判错，最终只拿到 73.1 分。
即便在自家公布的榜单里，大参数也没有包治百病。在跨 10 个领域的视觉边界框定位基准 SR-Box（IoU≥0.5）上，26.09B 的 d3-ultra 只拿到 58.2%，反而输给了自家轻量级模型 d3-turbo 的 60.0%。小尺寸分支同样有短板，0.85B 的 d3-lite 视觉表现输给 JPT-0.8B（41.1 比 42.1），2.21B 的 d3-nano 文本落后于 LiquidAI d1-3B（35.8 比 40.1），且在 MMMU-Pro 专业视觉感知（46.2）与恶意识别（44.6）上折损明显。冲着大参数去升级多模态框选流水线的团队，不仅显存开销翻倍，定位精度还会倒退。
串供的批量问题与虚高的浮点数：生产网关的两道催命符
把视角拉回工程落地，真正让我替基础设施团队捏把汗的，不是跑分水分，而是这套架构在生产流量下的两个结构性脆弱点。
第一个暗坑是 d3-ultra 纯文本批量优化带来的上下文串供。为了让模型单次扫描就能回答一串问题，架构师把问题列表放在了共享输入之前，这意味着每一个问题在计算概率时，都能感知到同批次被问到的其他问题。
这种设计在跑分时能蹭到上下文关联的红利，到了生产环境却成了定时炸弹。当业务团队在网关配置里动态新增或删减一条安全审核规则时，同批次原本稳定的另外几十个业务意图分类概率，就会因为前置文本变化而发生非预期漂移。在严肃的网关工程里，规则之间不能做到正交隔离，运维迟早会演变成玄学调参。
第二个暗坑则贯穿整个 Decision 3.0 家族，即分类概率绝不等于下游业务的真实执行成功率。
路由模型算出的高概率，只是对输入标签的置信度，绝非下游系统能完成任务的承诺。
《韩非子》里讲，夫物者有所宜，材者有所施，各处其宜，故上下无为。网关路由的本意是量材施用，但大模型时代的软肋恰恰在于度量的尺子本身会变形。这也像极了早年电信网从人工接线台向程控交换机演进的阵痛：把所有信令审查塞进一个超级节点确实能压低单次寻址损耗，可一旦交换中枢的内部判定阈值互相耦合，一条坏信令就能让整片扇区的路由表集体乱套。当然今天的大模型网关与当年确定性的电信协议不完全一样，因为神经网络吐出的浮点数天生带着统计幻觉。
目前官方只放出了准确率类指标，对期望校准误差（ECE）、Brier 分数以及分布外（OOD）拒识指标只字未提。社区过往早就吃过这种亏：仅仅微调了一下底层视觉编码器权重，原本固化的图像路由阈值就发生严重分布漂移，导致大批正常图片被护栏误杀。
好在项目团队已经意识到了这层断裂，目前正在 GitHub 上推进受校准成功率约束的模型选择（calibrated success-constrained selection）机制，试图把校准成功概率、不确定性、证据范围与降级原因做类型化封装。
但在这些护栏真正写进正式版之前，急着把 26.09B 的守门员请进机房并不明智。架构师如果真想吃下“255 问平摊 8.5 毫秒”的吞吐红利，动手拨出显存预算前必须先卡死三件事：拿内部真实业务数据做一轮增删同行问题的抗干扰压测；把模型版本、视觉编码器工件与正负校准集强行绑死；盯紧官方何时开源 SR-Text 与 SR-Box 评测集、社区在主流 NVIDIA GPU 上的实测吞吐，以及 vLLM Semantic Router 那份至今仍处于未发布（unreleased）状态的完整流水线文档。否则，再快的毫秒级批量直出，也只是在给错误决策提供级联放大的加速器。