角色LoRA的坑,我这边几乎全出在数据集上

角色LoRA这一路翻过的车,按顺序捋一遍:

一开始图贪多,觉得越多越好,塞了一百多张,结果过拟合到只会摆训练里那几个姿势。后来压到六十张上下,反而最稳。

接着发现素材全是大头特写,出肖像挺惊艳,一画全身就崩,掺了三成左右的中远景才缓过来。光线也是,全一个样的话模型根本学不会泛化。最舍不得的是那些差一点点就好的图,可LoRA是把所有图往平均了算,一张脸怪的能把整体拖下水,最后还是狠心删了。

回头一算,九成问题出在数据集,不在设置,老老实实清数据比改任何参数都管用。还有哪些比想象中更要命的因素,欢迎补充。

六十张这个数我也验证过,靠谱

同问,除了数据集还有啥隐形坑

标注也算一个,我触发词跟常见词撞了,怎么练都串

分辨率不统一也是个隐形坑,混着塞模型学不明白,我后来全裁成一致的尺寸才稳下来