这次最值钱的不是框架本身,是草稿模型的权重跟着一起放出来了。
腾讯混元开源的 AngelSpec 是一套端到端的投机解码框架,训练和部署都覆盖,Hy3-A21B 的 MTP 和 DFly 草稿模型权重连同训练代码一起开了。以前投机解码多半是各家自己糊一套,外人就算拿到框架,真正卡人的是从头训一个草稿模型的成本。权重直接给到,这道门槛算是被拆掉了。
再说数字:DFly 方案相对自回归解码是 1.98 到 2.40 倍端到端加速,吞吐比 DFlash 高 10.5% 到 11.8%。
这个区间跨度不算小,我会多看一眼。投机解码的思路是小模型先猜几个 token、大模型一次验完,猜中的越多省得越多,所以加速比天然吃任务分布:
- 短回答、结构化输出这类可预测性高的,接受率高,容易摸到上限;
- 开放式长文本,大概率落在下沿。
所以看到两倍,先问两件事:基线是什么,测的哪类任务。不问清楚,这个数很容易被当成通用结论到处转引。