投机解码开源出完整框架了,但两倍加速这个口径得看清楚

这次最值钱的不是框架本身,是草稿模型的权重跟着一起放出来了。

腾讯混元开源的 AngelSpec 是一套端到端的投机解码框架,训练和部署都覆盖,Hy3-A21B 的 MTP 和 DFly 草稿模型权重连同训练代码一起开了。以前投机解码多半是各家自己糊一套,外人就算拿到框架,真正卡人的是从头训一个草稿模型的成本。权重直接给到,这道门槛算是被拆掉了。

再说数字:DFly 方案相对自回归解码是 1.98 到 2.40 倍端到端加速,吞吐比 DFlash 高 10.5% 到 11.8%。

这个区间跨度不算小,我会多看一眼。投机解码的思路是小模型先猜几个 token、大模型一次验完,猜中的越多省得越多,所以加速比天然吃任务分布:

  • 短回答、结构化输出这类可预测性高的,接受率高,容易摸到上限;
  • 开放式长文本,大概率落在下沿。

所以看到两倍,先问两件事:基线是什么,测的哪类任务。不问清楚,这个数很容易被当成通用结论到处转引。

加速比吃任务分布这条说到点了,我们线上跑下来跟宣传值差了一截

MTP 那份权重能套到别的底座上吗,还是只配 Hy3

蹲一个真机复现