模型文件几个G,跑起来显存却爆了,这俩根本不是一回事

想省显存,先压分辨率、少叠东西,比纠结换个小模型管用。

原因是很多人拿模型文件大小去估显存,这两个数根本对不上。硬盘上那几个G,只是权重按半精度存下来的体积;真跑起来,显存还得额外扛住中间激活、分辨率放大后的缓存,以及你叠上去的那些附加模块。所以我自己的经验是,出图分辨率和批量对显存的影响,比换个稍大的底模明显得多。

我看这块偏工程视角,算得比较粗,有更精确的算法欢迎纠正。

顶

拿文件大小估显存的误区太普遍了

分辨率一拉高显存哗哗掉,血泪教训

少叠附加模块确实比换小模型省

1 个赞

工程视角讲得挺清楚,受用 :100:

批量出图爆显存我也中过招

2K以上我都先出小图再放大,直接拉高分辨率还容易出双头