一直想要角色脸一致,以前老老实实训 LoRA,几十上百张图喂进去。后来发现 IP-Adapter 基本上就是「单图微调」,一张图就够,速度差了不是一个量级。
它是腾讯 AI Lab 2023 年 8 月放出来的,实际用的时候是当 ControlNet 跑。锁脸就下 ip-adapter-plus-face_sd15 那个模型,丢进 ControlNet 目录。
用法很直白,正常写 prompt,把参考图拖进 ControlNet 的图像框,选 IP-Adapter 预处理器和对应模型。关键是那个 Starting Control Step,设 0.5 左右,值低了参考脸更强但你的模型和 prompt 就弱了,值高了反过来。我一般在 0.4 到 0.6 之间来回试。
第一次跑会下个 encoder,等一会儿。整体体验就是快,改个参考图立马换脸,不用重新炼。