拿角色立绘直接喂controlnet,出来全崩是选错预处理器了

写代码出身,一上手就想靠调参数解决问题,结果在哩布上翻车。我把自己画的角色立绘丢进controlnet想锁住造型,生成直接稀碎,人都不像。折腾半天发现是把整张立绘当lineart一股脑喂进去,模型被线稿糊住,既学不到姿势也放不开画风。

后来分开处理:只想要姿势就用openpose,只提骨架别带原图细节;想保留轮廓就lineart但权重压到0.5左右、结束步数设0.6提前放手让模型自己补。角色一致这块controlnet本来就不擅长,真要脸和服装稳定还是得单独炼个角色lora,controlnet只负责摆pose。

逻辑理顺之后就正常了,liblib上现成的openpose预处理直接调就行。

同问

openpose只提骨架这点很关键,带了原图细节反而互相打架

角色一致还得靠单独的lora,controlnet真锁不住脸,血泪教训

1 个赞

我之前拿lineart喂进去也糊成一团,原来权重要压这么低

结束步数0.6提前放手,试了一下果然没那么崩了 :ok_hand:

确实,controlnet只管姿势,脸得靠lora,指望它锁住五官纯属想多