DiffusionGemma出来了,主打文本生成快4倍

刚看到DiffusionGemma这个东西,卖点是文本生成速度快4倍。名字挺有意思,把扩散和Gemma凑一块,意味着走的是扩散式文本生成的路子,跟主流自回归一个字一个字往外蹦的方式不一样,扩散是并行去噪,理论上吞吐能上去,这也是它敢说快的底气。

对做部署的来说,推理速度直接关系到成本和并发,能快几倍是很实在的收益。当然扩散做文本一直有生成质量和可控性的争议,光快没用,得看在同等质量下能不能真快。

信息目前就这么多,具体多快、什么条件下快还得等更细的说明,先标记一下蹲后续。

扩散做文本这条线一直有人在推,就是质量存疑

蹲后续

1 个赞

并行去噪吞吐是能上去,但可控性怎么解决

快4倍要看是不是同等质量下,不然没意义

快4倍多半挑了对自己有利的对比条件,等第三方复测再信