开源语音识别最近出现了一个反常动作。

当同行都在争相把支持语种刷到几十乃至上百种时,IBM 发布的 Granite Speech 5.0 却反向收缩。全系采用商业友好的 Apache 2.0 协议,旗舰 2B 模型的转录语言却直接砍到了仅仅 6 种。

这套动作很容易被看作技术倒退,但企业级场景算的是另一笔账。

IBM Granite 语音模型家族定位与关键指标 5.0-2b (通用) 5.06% 短语音 WER 居开源第二 39 万小时数据 / 2000 偏置词 Turbo CTC (吞吐) 19,870 RTFx H200 批量并发推断峰值 470M 参数 / 多语言支持 4.1-2b-plus (会议) -24% 长语音 WER 错误下降 时间戳漂移从 210ms 降至 98ms

官方数据显示,granite-speech-5.0-2b 在 Open ASR Leaderboard 英文短音频测试集上跑出了 5.06% 的平均词错误率(WER),排在开源第二位。同步改版的轻量模型 granite-speech-5.0-470m-turboctc,批量吞吐达到 19,870 倍实时率(RTFx)。面向会议归因的 granite-speech-4.1-2b-plus,时间戳漂移被压缩了一半以上。

一端是榜单高分,一端是近两万倍吞吐,但这绝不是什么通吃一切的神级模型。它是一次目的性极强的工程取舍。

榜单第二名与脱标点清洗

在 390,000 小时公开与合成音频喂养下,5.06% 的词错误率确实亮眼。

平整的外部轮廓掩盖了内部结构错位,正如脱标点抹平了排版损耗(示意图)
平整的外部轮廓掩盖了内部结构错位,正如脱标点抹平了排版损耗(示意图)

但看懂这个数字,必须看清测试规则。Open ASR 官方基准在比对时,会统一移除全部标点符号并转成纯小写。

榜单上的 5.06% 只代表脱掉格式后的纯发音识别准确度。企业在生产环境中极度依赖的原生标点断句、段落排版以及专业专名大写,在榜单分数里完全体现不出来。

语音识别:基准测试规范与企业实际落地的认知落差 Open ASR 榜单评测逻辑 • 剥离所有标点符号与大小写区分 • 仅衡量发音转换文字的理论 WER • 无法体现原生排版可用性 企业生产环境真实诉求 • 原生标点准确率与专业词汇大写 • 说话人分离切分与长音频稳定性 • 依赖严苛的 2 分钟音频切片前置处理

输入边界同样卡得很紧。官方建议将单次输入音频切片严格控制在 2 分钟以内。这既不是 Whisper 经典的 30 秒滑动窗口,也不是 NVIDIA Parakeet 的超长局部注意力。

一旦音频超过两分钟,自回归模型的幻觉不确定性就会被放大。企业如果把未经切片的一整段嘈杂会议录音塞进去,复读编造的风险依然存在。上游必须自建语音活动检测(VAD)流水线来保底。

两万倍吞吐背后的双轨账本

媒体讨论大多被 19,870 RTFx 的吞吐抓住了眼球。但天下没有免费的算力午餐。

白热满载的计算核心热像,极速吞吐源于高端计算卡与图复用
白热满载的计算核心热像,极速吞吐源于高端计算卡与图复用

极速吞吐完全属于参数量 470M 的 TurboCTC 纯编码器模型。这项成绩是在 NVIDIA H200 计算卡上通过深度复用计算图、拉满批处理测得的峰值,并非单路实时听写的延迟。

更关键的是代价。470M 版本为了追求吞吐,彻底移除了自回归解码器。模型无法做语音直译,也无法挂载专有名词偏置词表。

Granite 5.0 的解耦双轨架构设计 470M TurboCTC(纯编码器) 吞吐量:19,870 RTFx(H200) 架构:无自回归解码器 优势:比早期版本吞吐提升超 20 倍 代价值:不支持语音直译 约束:无关键词列表偏置功能 Granite Speech 5.0 2B(旗舰全功能) 精度:英文短音频 WER 5.06% 架构:端到端自回归架构 功能:支持 5 语与英语双向互译 扩展:单向直译至中文/意大利语 核心:支持 2,000 词专名偏置控制

企业若要保证术语纠错与多语言互译,必须使用 2B 旗舰。而自回归解码器逐词生成的开销摆在那里,两万倍吞吐的神话在 2B 模型上并不存在。

专攻会议的 granite-speech-4.1-2b-plus 同样付出了互斥代价。

核心指标旧版基线4.1-2b-plus 表现实际业务影响
平均时间戳偏移 (AAS)210.86 ms98.54 ms字幕贴合度明显收紧
关键词偏置 WER11.79%6.48%专有名词与术语纠错率上升
长语音测试集 WER13.53%10.22%多人长会议断句更连贯
短语音基准 WER6.01%6.10%通用短句底模轻度受损
双人通话归因 (CALLHOME)2.2%3.0% (退步)干净双人对话日志精度下滑

模型在远场多人会议场景下把时间戳偏移压进了 100 毫秒以内,但在干净的双人通话测试集上,归因错误率反而从 2.2% 变差到了 3.0%。集成商如果图省事,把会议特化版直接替掉呼叫中心质检底模,反而会引来性能退步。

收缩语种,守住专名与翻译

把 39 万小时语料收束到 6 种转录语言,是这次发布最耐人寻味的一刀。

主流开源语音模型语种策略与特性对比 Whisper 系列 语种:覆盖近 100 种语言 翻译:仅支持外语译至英文 基准:30 语 FLEURS 表现稳健 Qwen3-ASR 1.7B 语种:密集覆盖 30 种语言 长处:12/20 语评测超越前者 社区:开发者实际反馈占优 Granite 5.0 2B 语种:聚焦 6 种主流商业语言 翻译:与英语双向互译+中意直译 杀手锏:2,000 词专名精准偏置

Whisper 铺开近百种语言,阿里的 Qwen3-ASR 覆盖 30 门语言。在多语言基准 FLEURS 上,Qwen3-ASR 1.7B 在 12 语与 20 语测试中压制了 Whisper large-v3,但在扩展到 30 语时,Whisper 又以 8.16% 的 WER 重新反超。

Granite 5.0 压根没进这个百语修罗场。它明确支持的转录语言只有英语、法语、德语、西班牙语、葡萄牙语和日语。

古人讲断臂求全,模型容量有限,均摊给海量长尾语言往往换来普遍平庸。收回来的参数被押在两个工业痛点上。

一是双向语音翻译。Whisper 原生只支持外语译为英语,无法直接把英文发言转译成德文或法文。Granite 5.0 2B 补齐了这 5 种语言与英语的双向互译,并追加了英语单向直译到中文普通话与意大利语。

二是单次支持最多 2,000 个专有词汇的列表偏置(Keyword Biasing)。通用模型在企业财报听写中拼错医药代号和自研架构名,是落地阶段的顽疾。注入大容量偏置词表,是极具工程实操价值的设计。

企业语音中台正从多模型拼装串联转向端到端一体化部署
企业语音中台正从多模型拼装串联转向端到端一体化部署

传统做法往往是先跑通用 ASR,再串联标点模型、翻译模块与专名纠错脚本。流水线越长,显存开销越大,累积延迟越高。把标点、双向翻译与 2,000 个偏置词直接焊进一个端到端 2B 模型,正是为了砍掉这些拼装链条。


选型路径由此变得清晰。

海量录音的存量离线转录,上 H200 跑 470M TurboCTC 压榨成本;跨国会议纪要与强术语场景,用 2B 模型搭配 2 分钟切片流水线;如果业务高度依赖几十种罕见语系,这套模型并不合适。

大而全的故事在消费端容易被买单,但企业级私有化部署看重的是合规边界与确定的计算账本。放弃百种语种的虚名,把六门语言、专名词表和商业授权做实,这刀切得并不漂亮,但确实足够清醒。