anima青薇画风微调正式版训练完的一点复盘

anima青薇画风微调正式版训完了,折腾了两版,这回我终于敢说方法论跑通了。两版做法拆开说:

  1. 上一版(微微调):用AI生成数据,图都是我自己出的,再一张张人工筛,主要改的是美学。
  2. 正式版数据:换成2.5w张非生成数据来训,上一版那1200张继续参与美学。
  3. 训练方式:只训DiT,冻掉一部分模块。不会像融模那样把base本体的知识损失掉,纯纯就是把美学往我喜欢的方向调。
  4. 顺手加的:把我自己画风也训成了一个tag,@qingwei就能串。

效果上,跟anima base比质感更偏我个人口味,手指脚趾比原版还好了那么一丢丢,xy图表上看得出来。兼容性也没丢,我自己那些低rank的Lora叠上去照样有效,出图还行。

冻了哪些模块能说下吗?我上次冻错了出图整体发灰

2.5w非生成数据,这素材量收集起来不轻松吧

非生成数据凑两万五是真费劲,光清洗筛图就能耗掉大半时间,比训练本身还磨人