扩散模型跑到一半的时候,你能从中间那张图看出它最后会画成什么样吗?大多数时候不能。
原因在去噪的方式上。扩散出图是从一团噪声开始,一步一步往干净的画面推,而以前很多做法只对最后那一张负责,中间那些半成品长什么样没人管,跟成品往往差得很远。结果就是中途预览没多少参考价值,想中途干预也无从下手,只能干等它跑完。
有个叫 CAT 的新方法,思路挺对我胃口:让每一步的中间草稿都尽量忠于最终成品。拆开看是这么个链条:
- 每一步的中间态都和最终画面对齐,不再只盯最后一张;
- 所以很早就能看出大概长啥样;
- 不满意可以早停、早调,不用等跑满全程才发现方向错了。
我自己最想拿它讲课。给学生演示扩散原理,最难讲清的就是“画面是怎么一步步从糊变清的”,要是中间每一步都朝着成品走,这个过程直接摆在屏幕上就能看,比画示意图直观得多。
至于落地效果,还有它对生成速度和质量到底有什么影响,得看论文细节和实测,现在下判断太早。不过“过程可预期”这个方向,对可控生成很有价值。