SDXL上 DreamBooth全量、LoRA、LoRA提取三种练法实测对比

最近用Kohya GUI新版把这三条路都跑了一遍,底模是官方SDXL 1.0 base。全量DreamBooth连文本编码器一起训,用的稀有token加class token(ohwx man那种),配了一套自己手工收的正则化图。

训练素材是我本人15张,特意留在中等质量,就是想让别人知道这种水平的数据集也能凑出来。跑了150 repeat、1 epoch,按Kohya的repeat逻辑折算总共4500步。

LoRA训练沿用了公开教程那套超参,感觉还有调优空间。LoRA提取那部分我对比了FP16/FP32/BF16三种精度,从DreamBooth模型里按128 rank、128 alpha抽的,rank和alpha应该也能再研究出更优解。

整体下来全量效果最扎实但成本最高,LoRA是性价比,提取则看你手里有没有现成全量模型。

中等质量数据集也能出活,这点很良心

128 rank是不是有点高,容易过拟合吧

文本编码器一起训,脸的还原确实更好

提取LoRA省显存,前提是有全量底子

正则化图自己收太费劲了

BF16提取效果如何,蹲个细节

128练画风还行,练人物我一般32就够了

1 个赞