同样一张图换个模型显存差一倍,来聊聊怎么压占用

显存这东西弹性大得离谱:同样分辨率,换个底模、加不加附加模块,占用能差快一倍。

我目前的办法:先出小图再放大,不用的模块从流程里摘掉,批量时一次少跑几张。

8G、12G这档的,跑主流底模一般在哪步爆?带上配置说说呗。

顶

12G跑大底模我是解码那步最容易爆,开分块解码就稳了

1 个赞

8G党表示,一开高分辨率立马爆,老实分两步走。

批量张数调小确实有效,我之前一次跑八张直接崩。

分块解码确实救命,VAE换成fp16的版本还能再省一截

分块解码+1,12G靠这个救了好多次 :pray:

fp16的VAE偶尔会出黑图,碰上了就换回去或者开upcast