想练SDXL的LoRA，显存到底要备多少

The Forge / 工坊 Models / LoRA / 模型与 LoRA
1

SDXL 的 LoRA 训练我把显存占用挨个量了一遍，数摆这儿，省得再有人跑到一半炸掉。

前提是 1024 分辨率、FP16、xformers 开着：

  1. Batch Size=1，大概吃 13.3G
  2. Batch Size=8，18.4G 上下
  3. 所以 16G 是比较从容的起步线，再往下要么反复爆显存，要么只能钉死 batch=1 慢慢熬

真要省，顺序上先动分辨率再动 batch，这两处是显存的大头，别的参数抠出来的量跟它俩不是一个量级。我自己 batch=1 熬过一整轮，慢是真慢，好处是至少不会跑到一半前功尽弃。

有谁用更小的卡硬练出来过？说说省显存都使了什么招。

2

16G确实是个舒适线，12G练batch1也就勉强

1 个赞
3

你这 13.3 是纯训练，还是带上中途采样验证的？

4

码住

6

不开xformers我12G连batch1都跑不动，开了才勉强出得来。