带新人炼 LoRA，最常被问的就是这个 loss 怎么看。我的土办法：loss 是模型和目标差多少的一个数，训练里它整体往下走就说明在学东西。
但别盯着它一路跌就高兴——跌太狠、跌到几乎贴地，往往是把训练素材背下来了，出图反而僵。更该关心的是它降下来后稳不稳、有没有来回大跳。
数字本身没有绝对好坏，得配合出图效果一起看。你们判断该停在哪一步，是纯看 loss 还是主要靠肉眼验图？
我基本靠肉眼验图，loss 只当参考，贴地了准过拟合。
对，来回大跳一般是学习率或数据有问题，比绝对值更值得查。
记下了 
背素材那段太真实，loss 好看出图却死板，坑过我。
一直以为 loss 越低越好，原来还有反效果。
干货
1 个赞
我现在每隔几轮存一次，回头挑中间那版，往往比 loss 最低那版好用。