英伟达Nemotron 3.5开源的算力账本：用437字极速与14%省流掩盖硬件暗税

英伟达在开源模型市场上把算盘打得全行业都能听见声响。

2026年10月，英伟达推出开源商用 Nemotron 3.5 系列。除了 120B 的旗舰模型 Super VL 与宣称塞进 24GB 显存的端侧模型 Bolt，检索套件也同步亮相，包含 631M 参数的文档解析、1.55B 嵌入以及 8.38B 的重排模型。

官方主打两张牌：一是旗舰模型每秒狂飙 437 个 Token，二是检索套件能帮智能体省下 14% 的推理上下文消耗。

然而账本经不起细算。在长链条终端指令测试里，旗舰模型交出了 0% 的白卷；标称 24GB 的端侧模型，跑完完整流程需要 28GB 显存；省下 14% Token 的代价，是企业必须额外供养一个 8B 级别的独立重排集群。

天下熙熙，皆为利来。这不是慈善布道，而是一套用免费算法撬动高价硬件采购的围城战。

极速吞吐掩盖下的推理断崖

在官方叙事里，Super VL 是蒸馏驱动的高效升级，单卡在 GB200 上能飙到 4,856 tokens/s。但在考察真实代码解决能力的 SWE-bench Pro 测试中，高吞吐换来的是 9.1 个百分点的绝对精度滑坡。Super VL 的通过率只有 51.3%，明显落后于 Qwen3.8-Flash-Next 的 60.4%。

更深的断崖落在复杂操作上。独立第三方实测揭开了另一面：Super VL 在 AutomationBench-AA 自动化测试中拿到 15% 成功率，而 GPT-6.1 Sol 是 65%；在 Terminal-Bench 4.0 终端指令交互中，Super VL 的成绩直接挂零。

这台特化机器偏科极其严重。在预设的特定流水线里，它靠 Mamba-2 与 Transformer MoE 混合架构跑得飞快；可在缺乏预设轨迹的长链条推理中，它无法独立承担复杂决策。

企业依然乐意采用，因为单字推理成本足够低。Together AI 平台挂出的 Super VL API 价格是输入每百万 Token 收费 0.15 美元、输出 0.50 美元，远低于同量级通用模型。日常跑流水线日志清洗，运行时间缩减近八成意味着算力账单直接被压缩。

但一旦离开受控场景，它在通用视觉与中文理解上的落后会立刻暴露。CharXiv 图表测试得分 80.82%，落后于 Qwen3.5 的 83.47%；OCRBench v2 中文测试仅拿到 59.15%，被 Qwen 的 67.26% 明显拉开差距。

检索套件的算力挪移账

除了大模型本身的偏科，英伟达在检索套件上推行了同样的算力转移逻辑。

这套三件套包含 631M 的 Parse、1.55B 的 Embed 和 8.38B 的 Rerank。英伟达官方给出的算力收益是：通过加入 8B 重排精挑上下文，能让前端智能体减少 13% 到 14% 的推理 Token 消耗。

前端模型的上下文 Token 确实降了，但账面没有计入后端的额外消耗。8.38B 的 Rerank 是交叉编码器架构，每次请求都要把 Query 与召回的 50 个图文片段组合打分，算力负荷远高于向量点积检索。为了压住系统时延，企业必须划拨专属 GPU 显存支撑重排层。

更深层的意图藏在 Embed-1B 的规格设计里。

官方通过量化感知蒸馏，让 1.55B 的 NVFP4 版本以 58.71 的得分咬住了 BF16 版本的 58.82。在 GB200 硬件上，它的吞吐量从 BF16 的每秒 101.3 篇提升到 128.8 篇，增幅达 27.1%。但这套高吞吐体验完全建立在支持 NVFP4 的 Blackwell 架构上。离开专有硬件，这些性能红利难以兑现。

标称 24GB 显存背后的升级诱饵

端侧模型 Bolt 74B-A9B 则直接将算力压力推给了终端硬件。

命名挂上 24GB 标签，容易让外界以为主流消费级显卡即可轻松部署。但依据官方方案，借由 IQ2_XXS 极限压缩，模型核心权重确实能压到 22GB 左右；可一旦把视觉投影、推测解码与键值缓存加载完整，在 64K 上下文下需要 28GB 显存，展开到 256K 上下文时更会攀升至 32GB。

现有 24GB 显卡无法跑完完整流程。用户若想获得宣称的端侧能力，要么裁掉长上下文并放弃推测解码，要么只能换卡。

云端部署同样拉高了隐性门槛。官方 NIM 框架的 agentX 配置将 KV 缓存下放给 CPU，每张 GPU 强行绑定 200 GiB 宿主机内存。搭一套双卡 H100 环境，服务器必须插满 400 GiB 内存。显存内部还要单独切出 10 GiB 锁定给图像与视频解码器。第三方实测显示，在 32K 上下文运行时，即便显卡仍有约 20GB 显存富余，机器也常因局部发热过高而触发关机保护。

免费开源的软件权重，最终必须由更高规格的硬件承载。

算力防线的两端合围

英伟达在这个时间节点同时加码大模型与检索套件，本质是一场防御性围攻。

头部的 AI 实验室既是英伟达 GPU 算力的大买家，也是最想挣脱其供应链束缚的对手。自研专用芯片、转向定制化 ASIC、大单采购 AWS 与 Cerebras 算力已成常态。当核心客户试图绕开高溢价硬件时，英伟达的策略是直接越过实验室，把全套开源模型递到企业 IT 主管手中。

这套方案打在了企业对成本和数据自主权的焦虑上。企业拿走开源模型，在本地机房微调部署，确实避开了昂贵的前沿模型 API 调用账单。但只要决定部署，采购单依然会流向英伟达的机柜与加速卡。而在 PC 端，Bolt 标称 24GB、实际需 28GB 至 32GB 显存的设计，也顺理成章成为推动大内存 AI PC 换机周期的诱饵。

当年标准石油修筑输油管，表面铺的是铁管，赚的是过路费。如今英伟达把软件权重免费开放给行业，却在底层将 NVFP4 量化、Dynamo 推理栈与 Blackwell 微架构紧扣在一起。

企业架构师若为了流水线高频清洗而采用这套方案，是务实的工程折衷。但若打算用它彻底替换前沿闭源模型，基准测试里那几个零分以及专用重排机房的电费，很快会在实际运行中换来昂贵的系统代偿。