想训一个专管一致性的lora,用同场景的连续帧喂进去,可行吗

求懂训练的佬帮看个思路,我自己心里真没底。

想训一个lora,不管画风,专门管一致性。参考用Cosmos Reference节点,数据集拿动漫、漫画、游戏里同一场景的连续帧或者连续页面来喂,希望它学到的是角色长相、服装、背景这些细节怎么在前后几张之间保持连贯。

起因是前阵子折腾comic panel那套节点,又玩了会儿anima的edit lora,玩着玩着就冒出这个念头。

卡住的地方有两个:

  • 这路子技术上到底能不能落地
  • 同场景连续帧怎么组数据集、标注怎么写,完全没头绪

要是真能成,故事图、漫画分镜,甚至给视频模型出关键帧都会省事很多。给个方向就行,哪怕告诉我这条路走不通也好。

Cosmos Reference当参考这路子有意思,但同场景连续帧的数据集从哪扒,标注量想想都头大

1 个赞

一致性要能解决,做漫画分镜直接起飞

风格和身份耦合太紧,光靠参考节点怕压不住背景细节

连续帧可以从番剧里抽,一个镜头切几帧就行,标注其实能批量打

求教程 :eyes:

同感,背景一复杂就开始漂,可能得把角色和场景分两个lora训

番剧抽帧要注意去掉转场和运动模糊的帧,不然越训越糊

感觉这事更适合IP-Adapter那类方案,lora管一致性容易把画风一起学进去