平时一直拿小模型固定画风,最近才去查它凭啥这么轻,顺手整理成几条:
- 不动原模型。 底模那一大堆参数是冻住的,训练时根本不碰。
- 旁边挂小矩阵。 在某些层旁边加一组很小的可训练矩阵,用低秩的方式去微调特定能力,要学的东西都落在这组矩阵里。
- 所以文件小、训得快。 只存那点矩阵,体积自然就下来了。
- 一个底模能挂好几个风格。 原模型不变,换风格就是换挂件,我这种要频繁切角色切画风的用着特别顺手。
坑也有一个:叠太多个一起用容易打架,画面会乱。我自己一般控制在两三个以内,再多就不敢了。
平时一直拿小模型固定画风,最近才去查它凭啥这么轻,顺手整理成几条:
坑也有一个:叠太多个一起用容易打架,画面会乱。我自己一般控制在两三个以内,再多就不敢了。
同时挂俩顶天了,多了必串
求个要点,训一个稳定画风的
叠多了打架深有体会 ![]()
挂俩顶天+1,第三个一上就开始串
叠多了打架的话试试把画风那个权重压到0.5以下,冲突会小一些
rank 那块能再展开讲讲吗,开大是不是就等于学得更细,还是只是文件变大