扩散模型到底玄在哪?带新人的时候我都先让他们别碰公式,就记两句:前向不断加高斯噪声,反向学着一步步把噪声去掉。剩下的全是细节。
后面几个节点按顺序串一下就够了:
- latent diffusion 才是让消费级显卡跑得动的那一下,图先压进VAE的隐空间再去噪,算力大概省两个数量级,质量几乎看不出损失
- DDIM 把采样步数从上千砍到几十
- ControlNet、IP-Adapter 把可控性补上
现在的瓶颈还是推理慢,每一步都得过一遍U-Net,到了视频更夸张。我比较看好 few-step 蒸馏,代价是多样性会掉一些。
