LCM/LCM-LoRA把出图步数压到个位数,实时文生图这波真香

LCM和LCM-LoRA是清华那边出的,火了有一阵了。原理一句话:扩散模型原本要几十步采样,它压到几步甚至一两步,出图速度直接上一个量级。

本地跑图的人最能体会这意味着什么。以前调prompt是改一个词、等一张出完、再改,节奏全被等待打断;现在差不多是拖着滑块实时看变化,试错成本一下就降下来了。

LCM-LoRA我更推荐,它做成了即插即用的加速插件,直接套在现有底模上就能用,不用为了提速重新训一个模型。

我自己是分三步走的:

  1. 定构图:挂上LCM-LoRA,低步数快速出草图,一批批筛构图,不满意就改词,几乎不用等。
  2. 定配色:构图锁住之后,还是低步数,换配色、看整体氛围。
  3. 出精修:构图和配色都定了,换回常规步数出最终的图。

为啥非要拆开?极端低步数下细节和质感是会打折的,拿它直接出成品不划算,但拿来做前面的筛选正合适——筛选阶段要的是快,不是细。把慢的那一步留到最后只跑一次,整体反而更省时间。

这套拆法我用着挺顺,挂在别的工作流里的也欢迎来聊聊各自怎么搭。

筛构图时CFG记得压低,不然LCM出来一片过曝

同seed换回常规步数后构图会偏一点,别指望一模一样

配色阶段我会固定seed,不然每张差太多根本没法比

本质是蒸馏,把采样轨迹学短了,思路挺漂亮

1 个赞