号称总参数 39.8B、每次计算只激活 2.5B 的代码模型,听起来像是塞进轻薄本的随身黑客。

前 Salesforce 首席科学家 Richard Socher 与前 DeepMind 研究员 Tim Rocktäschel 创办的 Recursive,端出了手握 6.5 亿美元融资后的第一款开源模型 Flint。官方数据极具煽动性:在 M4 Pro 芯片上跑出超过 125 tokens/s 的推理速度,SWE-bench Verified 拿下了 74.2% 的高分,甚至宣称由自研自动化科研系统 Eureka Machine 在 4 个月内自主研发而成。

第三方的独立复现很快证实了速度没作假,但也测出了官方宣传没说全的另一半事实:短文本冲刺确实迅猛,一旦拉进真实的工程上下文,速度直接跌去七成;而那道 48GB 显存的物理铁壁,依然纹丝未动。

细粒度路由偷走算力,显存带宽当场结账

Flint 采用 Apache 2.0 协议开源,底层为 49 层 Decoder-only Transformer 架构,包含 2 层 Dense 与 47 层 MoE。为了压低单次计算开销,模型设计了极其细密的路由结构:每一层塞进 256 个路由专家,每次计算动态挑选 6 个,外加 1 个常驻共享专家,注意力机制则混合了 35 层滑动窗口与 14 层全注意力。

这套设计将单 Token 运算量砍到了 2.2B 左右。第三方推理引擎 Kapitsa 在 48GB 统一内存的 M4 Pro 上实测,短文本生成速度达到 127.9 tokens/s,与官方 rec 引擎的 126.6 tokens/s 基本吻合,把传统 llama.cpp 的 79.6 tokens/s 甩在身后。

端侧运行40B大模型依赖至少48GB物理统一内存
端侧运行40B大模型依赖至少48GB物理统一内存

但这套架构偷走的是运算量,偷不走权重体积。混合专家架构的物理规则很直白:即便单次只有几个专家参与运算,模型底层的全部 39.8B 权重也必须时刻驻留在显存里等待路由调度。

Flint 的完整 BF16 权重体积达到 80GB。即便采用 Eureka Machine 激进压缩后的 4-bit 方案,MLX 格式有 22.6GB,面向 NVIDIA 平台的 NVFP4 为 22.9GB,llama.cpp 的 Q4_1 规格则是 26.0GB。

Flint 端侧部署配置与运行门槛对比 宣传认知:轻量便携本 瞬时激活:仅 2.5B 计算参数 运行形式:完全离线、免 Token 账单 代码隐私:局域网部署,企业级安全 误区:误以为 16GB 内存即可轻松驱动 物理现实:高规格工作站 显存硬约束:最低 48GB 统一内存 存储占用:约 30GB 硬盘空间 核心优化:依赖 4-bit 压缩与专用算子 硬件要求:M4 Pro 级或专业 RTX 显卡

官方配套的 rec 引擎在文档里划出了底线:至少 48GB 统一内存,外加约 30GB 存储空间。主流的 16GB 或 24GB 消费级设备连模型权重都装不下,这从来不是轻薄本上的平民玩具,而是高配 Mac 工作站的特权。

更致命的是长上下文瓶颈。官方宣称支持最高 512K 上下文,配置文件锁在 262,144 tokens。当第三方实测将真实项目的工程上下文推进到 128K 时,rec 引擎的生成速度从 126.6 tokens/s 骤降到了 35.2 tokens/s。面对大型代码库的依赖加载,苹果统一内存的带宽瓶颈迅速现形。

5小时重试与错位标尺堆出的战力

在官方公布的基准测试中,Flint 展现出一张横扫同级的战报。

官方宣称的高分基准仍缺乏第三方独立复现(示意图)
官方宣称的高分基准仍缺乏第三方独立复现(示意图)
评测维度 / 指标Flint (Recursive 官方数据)竞品公示参照口径差异与现实评估
SWE-bench Verified74.2%行业通用基线依赖 Mini-SWE-Agent 框架与 5 小时超时配额
SWE-bench Pro v289.7%Poolside 59.4%对手成绩出自旧版题库,测试基准不在同一起跑线
Terminal-Bench 2.154.9%Qwen 同类测试集中于 2.0 版题库版本错位;实测易陷入重复诊断命令死循环
对标体量宣传39.8B对标 Laguna XS 2.1 (33B)官方宣发冠以 118B 的 Laguna S 之名制造越级假象

仔细拆解测试环境,高分背后的机制显露无遗。74.2% 的成绩基于 Mini-SWE-Agent 框架,在严格隔绝外网的沙盒中运行,单任务超时上限放宽到了整整 5 个小时,最终得分取 5 次尝试的平均 pass@1。

这不是裸模型当场解决复杂工程问题的单兵智商,而是外围脚手架给足了 5 个小时的重试预算、反复试错抹平失误换来的工程容错率。

对比标尺也经过了精心挑选。SWE-bench Pro v2 拿下的 89.7%,对手 Poolside 的 59.4% 却来自早期旧版基准。宣传文案里声称越级击败的 Laguna,实际对比的是 33B 的 Laguna XS,而非图表给人暗示的 118B 大模型。

真实环境上手时,Flint 带有明显的过度思考倾向。面对需要连续协同的任务,模型经常在本地终端里反复执行同一行诊断命令,在工具调用的死循环里打转,连最显眼的语法 Bug 都会漏改。


算子打磨有功,但神话不是科学

比起端侧代码工具,资本市场更在乎 AI 造 AI 的自举神话。Recursive 宣称,Flint 是其自动化科研系统 Eureka Machine 在不到 4 个月内自主训练成型的。

自动化研发系统本质仍依赖高密度超算集群
自动化研发系统本质仍依赖高密度超算集群
Eureka Machine 的真实研发链路 架构设计 稀疏拓扑与剪枝 低比特训练 体积压缩 71% 算子定制 Metal/NVFP4 优化 人类安全围栏 防范 Reward Hacking 注:系统本质是高阶 AutoML 实验管线,尚未实现无监督的自主递归闭环

不可否认,工程团队交出了一份过硬的系统优化清单。他们打破常规,把输出头(lm_head)压到 4-bit,配合离线核心集自采样进行蒸馏,NVFP4 版本与 BF16 基准差距只有 0.7 分;针对苹果芯片编写的 Metal 专用算子,在前向传播中做到了单操作融合。

《考工记》有言:“知者创物,巧者述之守之,世谓之工。”

这一套工程落地的实质,是顶尖工程师在机床前搭好的高级自动化实验管线。Eureka Machine 在人类设定的超参数边界内,用算力暴力跑完架构搜索、剪枝配比和策略验证。但 Recursive 并没有公开训练数据分布、集群能耗账本,甚至连自动化系统的决策日志也没有披露。

脱离人类精心设计的损失函数与规则围栏,算法很容易陷入自欺欺人的奖励作弊。把高强度算子调优和自动化搜索包装成自主进化的造物主,是典型的硅谷式估值修辞。

离线工作站的真实账本

去掉这层包装,Flint 的价值依然明确。

端侧工作站用物理离线换取成本与数据安全(示意图)
端侧工作站用物理离线换取成本与数据安全(示意图)

对于那些严禁业务代码上传云端、又无法承受集群维护成本的中小团队,动辄需要几百 GB 显存的超大模型不可触碰。一台 48GB 或 64GB 内存的 Mac Studio 配合 Flint,换来的是物理断网环境下的完全可控与免席位费。

在单文件修改、局部补全和短逻辑编写上,127 tokens/s 的吞吐完全能提供流畅的交互感。这套激进剪裁的 MoE 架构,证明了端侧本地代码工具具备真正的工业可用性。

需要保持清醒的是技术边界。细粒度路由能节省算力开销,但越不过统一内存的物理底线;打榜时靠 5 小时重试磨出来的高分,换不来大型工程里开箱即用的稳定性;一旦载入 128K 完整仓库上下文,35 tokens/s 的龟速会立刻提醒你物理法则的存在。

买一张高配工作站的门票可以,但不要指望机器在深夜里自己完成代码革命。