用Dreambooth在SageMaker上微调Stable Diffusion的实践

整理了一套在SageMaker上跑Dreambooth微调SD的流程,主要是给需要把特定角色或画风固化下来的场景用。Dreambooth的好处是几张到十几张参考图就能让模型记住一个概念,配合正则化图片能缓解过拟合和语义漂移。

放在SageMaker上主要是省去本地配环境和显存焦虑,训练完能直接出推理端点。踩过的坑是学习率和步数很敏感,步数拉太高角色是像了但泛化没了,换个姿势就还原不出来。

参考图质量比数量重要,背景杂、光线乱的图会把噪声一起学进去。做游戏立绘想统一角色的可以参考这套思路,比纯靠提示词硬凑稳。

参考图干净这点太重要了,吃过亏

1 个赞

步数拉高就过拟合,深有体会

云上跑省心,本地显存顶不住

Dreambooth和LoRA你更常用哪个

做角色一致性这个方向对路

正则化图片很多人省掉,其实不该省

Dreambooth固化角色画风这套流程收藏了,云上跑省显存,就是参考图不干净后面全白搭

我后来基本全转LoRA了,Dreambooth固化得死但太吃资源,除非要极致还原某个角色