想请教练角色LoRA的朋友,人脸相似度直接当训练目标这个方案,谁上手跑过?
我一直嫌普通SFT收敛慢,练完还不一定像。这个方案思路挺顺:人脸embedding的距离本来就能求导,那就别学预测噪声或者速度了,直接拿脸的相似度当loss来训。说是4090上十来分钟就能出一版,对各种数据集都挺稳。
代价在单步上:普通SFT大概0.5秒一步,它要四秒多,因为每步都得生图、VAE解码、人脸检测再反传,一整套全算进去。总步数少、每步更贵,换来目标对齐更强,角色向我觉得这买卖划算。
现在卡我的是过拟合,跑过的能说说是怎么压住的吗?
