把FLUX.1-dev量化成INT8之后,显存真的降下来了

记一下这两天的进度。起因是想把 FLUX.1-dev 转成 ComfyUI 能直接吃的原生格式,转的时候顺手做了几档 INT8 量化,跑了一轮显存对比,场景统一 1024²、20 步。

  • 原版:24G 出头
  • 部分 INT8:20G 多点,省了大概一成半
  • 整体 W8A8:16G 多,砍掉三成还多
  • 再把 T5 也走 INT8:基本还是 16G 多这个水平

对我这种卡不够顶的人,这一下就从跑不动变成勉强能跑,所以才值得记一笔。精度只肉眼扫了一遍,没崩,细节还留得住。卡吃紧的可以照这个路子试试。

16G能跑FLUX这也太顶了,我这张卡有救了

INT8掉细节吗,布料和头发那种密纹有做过对比没