3060 12G 也能训带脸带声的角色 LoRA,踩了两天坑总算跑通了

记一下这两天训角色 LoRA 的过程,带脸也带声音那种,给同样拿小卡的人参考。

机器是 3060 12G,内存 64G。开干之前心里其实没底,视频加语音的角色模型,印象里都是大显存玩的东西,我这纯属死马当活马医。

第一天:之前用小图集训人像,流程算摸熟了,以为改改就能上。结果加上动态和声音,难度直接翻倍。最要命的是爆显存,来得飞快,配置没调对的话,经常刚跑起来就 OOM 崩掉。

第二天换思路,主要动了两处:

  1. 数据集砍短。之前总想多塞素材,其实几段几秒到十几秒的干净短片段反而更好收敛,片段又长又杂,显存先扛不住。
  2. 显存相关的设置一项一项往下抠,抠到刚好卡在边界上,多一点就炸,少一点又浪费。

晚上挂着通宵跑,隔一会儿就去看占用曲线,那条线贴着上限走的时候是真的心惊胆战。最后总算是跑通了。

所以别一上来就被显存劝退,小卡有小卡的活法,就是配置得多花点耐心磨。有在小显存上折腾动态模型的朋友,省显存的招数欢迎来交流。

12G训动态,分辨率你压到多少了?声音那块吃不吃显存