大白话讲讲炼丹时那个loss,跌成什么样才算正常

这周带新人炼 LoRA,被问得最多的还是那一个:loss 该怎么看。

我给的土解释是,它就是模型跟目标差多少的一个数。训练过程里整体往下走,说明东西在往里学,这一步没毛病。

麻烦在后头。有人看它一路往下跌就开心,跌到几乎贴着底了还觉得自己练得好。这种十有八九是把训练素材背下来了,出图反而僵,一板一眼全是素材的影子。

我自己现在更看它降下来之后稳不稳、会不会来回大跳。数字本身没有绝对的好坏,脱开出图效果单看它没意义。

该停在哪一步这事我到现在也没个准,说不好该信数还是信眼睛,想听听你们怎么拍板的。

我基本靠肉眼验图,loss 只当参考,贴地了准过拟合。

对,来回大跳一般是学习率或数据有问题,比绝对值更值得查。

记下了 :pray:

我那版 loss 最漂亮,出图全是素材里那个角度,白练

干货

1 个赞

我现在每隔几轮存一次,回头挑中间那版,往往比 loss 最低那版好用。

存中间版这习惯我也养成了,最低那版拿来出图经常死板