扩散模型这套东西,理解了加噪去噪就没那么玄了

扩散模型到底玄在哪?带新人的时候我都先让他们别碰公式,就记两句:前向不断加高斯噪声,反向学着一步步把噪声去掉。剩下的全是细节。

后面几个节点按顺序串一下就够了:

  • latent diffusion 才是让消费级显卡跑得动的那一下,图先压进VAE的隐空间再去噪,算力大概省两个数量级,质量几乎看不出损失
  • DDIM 把采样步数从上千砍到几十
  • ControlNet、IP-Adapter 把可控性补上

现在的瓶颈还是推理慢,每一步都得过一遍U-Net,到了视频更夸张。我比较看好 few-step 蒸馏,代价是多样性会掉一些。

去噪那个类比是真好懂,我以前一直卡在变分下界那堆公式上

latent那步确实是分水岭,不然谁的卡跑得动

蹲