第一次训LoRA的时候天天盯着loss,总想知道"降到多少才算好",还到处问有没有一个标准数字。后来自己踩了几次才明白,单看那个绝对值意义不大——数据集、题材、参数都不一样,别人降到的数字搬到我这根本不能比。
我现在更在意的是它整体有没有平稳往下走、有没有中途炸掉,以及最关键的:实际出图像不像、有没有过拟合到只会复刻训练图。
有几次loss看着挺低,出图却僵死,那反而是坏事。想跟训过的人对一下——你们判断"练到位了"主要靠盯数字还是靠肉眼验图?有没有除了看图之外你会参考的信号?
同意,loss只是参考,最终还是肉眼验图说了算。
过拟合到只会复刻训练图这个坑我踩过,当时还以为练得好。
不看绝对值是对的，我后来固定种子每隔几轮出一张，看有没有往目标走