练LoRA的loss不降反涨,坐了一下午看它爬坡

今天下午这一出,按顺序记一下。

数据是前两天自己清洗的,几十张同一个角色,标签一条条对过,开跑之前自我感觉准备的挺齐整。第一次自己练 LoRA,心里还挺有底。

跑起来我就盯着 loss 看。默认它是往下走的,结果它往上爬。头几步我还替它开脱,说前面抖一抖正常,过会儿就下来了。

又过一阵,还在涨。

再看一眼,接着涨。我就这么坐着看它爬坡,越看越发毛,中间实在坐不住,起来晃了两圈,回来一看走向一点没变。

后面就是干瞪眼想原因,脑子里翻来覆去就那么几个嫌疑犯。学习率给大了算一个,步子迈太大直接冲飞,真冲飞了大概就是这么个走向。数据里混进脏图算一个,我清洗那会儿是人眼一张张过的,几十张看到后面眼睛也就那么回事,漏掉一两张完全有可能,而一张不对路的图就足够把方向整个带偏。步数和轮次没配好也算一个,量和节奏对不上,出来的东西自然不对。

难受的是这几个我都只是怀疑,没有一个能说死。真要凭感觉乱调,改完一轮跑下来又是小半天,这个试错成本我耗不起,所以到现在也没敢动。

练过的说一下,loss 一路增大的时候你们的排查顺序是什么,是先把学习率砍下去重跑看反应,还是先回头把数据从头到尾再洗一遍。想抄个实战顺序,少绕点弯路。

先砍学习率。砍下去跑一小段看趋势,比一上来推翻整个数据集省事多了,真是冲飞了曲线很快就有反应。

5 个赞

标签里混没混进别的角色名?我上回就栽在这上头

坐等完整排查流程 :thinking: