LoRA为啥又小又好使,原理其实不玄

平时一直拿小模型固定画风,最近才去查它凭啥这么轻,顺手整理成几条:

  1. 不动原模型。 底模那一大堆参数是冻住的,训练时根本不碰。
  2. 旁边挂小矩阵。 在某些层旁边加一组很小的可训练矩阵,用低秩的方式去微调特定能力,要学的东西都落在这组矩阵里。
  3. 所以文件小、训得快。 只存那点矩阵,体积自然就下来了。
  4. 一个底模能挂好几个风格。 原模型不变,换风格就是换挂件,我这种要频繁切角色切画风的用着特别顺手。

坑也有一个:叠太多个一起用容易打架,画面会乱。我自己一般控制在两三个以内,再多就不敢了。

同时挂俩顶天了,多了必串

1 个赞

求个要点,训一个稳定画风的

叠多了打架深有体会 :sweat_smile:

挂俩顶天+1,第三个一上就开始串

叠多了打架的话试试把画风那个权重压到0.5以下,冲突会小一些

rank 那块能再展开讲讲吗,开大是不是就等于学得更细,还是只是文件变大