午饭前翻模型更新，翻到DiffusionGemma，卖点就一句：文本生成快4倍。
名字拆开就是扩散+Gemma，走的是扩散式文本生成。主流自回归是一个字一个字往外蹦，扩散是并行去噪，理论上吞吐能上去，它敢喊快大概就是这个底气。
做部署的对这种数字最敏感，推理速度直接连着成本和并发，真能快几倍是实打实的收益。可扩散做文本一直有生成质量和可控性的争议，光快没用，得是同等质量下的快。
目前能拿到的信息就这些，具体快多少、什么条件下快都没说，先标记着，等更细的说明出来再看。
扩散文本长段落容易前后打架，短回复场景可能更合适
蹲后续
1 个赞
并行去噪吞吐是能上去，但可控性怎么解决
快4倍多半挑了对自己有利的对比条件，等第三方复测再信