第一次自己练LoRA，盯着loss曲线本以为会往下走，结果它一路往上爬，看得我心里发毛。数据集是自己清洗的几十张同一角色，标签也对齐了。
我怀疑要么学习率给太大冲飞了，要么数据里混了脏图，要么步数轮次没配好。但这几个我都拿不准，不敢乱调。有没有练过的朋友，loss持续增大的时候你们一般先排查哪一环？
是先砍学习率，还是先回去洗数据？想听点实战顺序，少走弯路。
先砍学习率，八成是它冲飞了
也可能数据里有脏图混进去
标签真对齐了？再确认下
loss涨我一般先降lr再看
1 个赞
坐等完整排查流程 