训角色LoRA,我现在雷打不动的四条习惯

统一角色形象这件事,我一直靠训 LoRA 顶着(做的是独立游戏,角色得前后一个样)。下面几条是现在每个角色都照做的,顺带说说为什么这么做。

  1. 素材宁少勿杂。 二三十张干净、光线一致、角度有变化的图,效果往往比塞一两百张杂图要好。脸糊的、带水印的、多人同框的我一律剔掉——这些图混进去,模型学到的多半是噪音,出图时会连毛病一起带出来。

  2. 想固定的特征别写进标签。 发色、服装、脸型这些要锁住的,反而不写,让模型把它们绑到触发词上;想让它变的部分才写清楚。我的理解是:标签里写了的会被当成可以替换的东西,没写的才会被吸进触发词里。

  3. 学习率从偏小的档位起步。 宁可多跑几步,也别一上来就过拟合。过拟合的图很好认,一看就是把训练集背下来了。

  4. 中途多存几个节点。 每个节点分别出图对比,别只信最后一步的结果。

步数、维度这些每个角色我都不一样,只能自己试,不存在一套万能参数。大家训人物一般多少张起步?

1 个赞

我一般二十张出头,宁缺毋滥,脏图留一张都拖后腿

二三十张够吗,我上次十几张就训歪了

过拟合真是新手第一坑,出来的图跟训练集一个模子,换个姿势就崩