FLUX.1-dev的ConvRot量化版几个档都跑了,低显存的可以蹲

ConvRot 量化的 FLUX.1-dev 出了给 ComfyUI 原生用的版本,这几天挨个档跑了一遍,按顺序写下来。

先跑的 W8A8 + INT8 的 T5,显存峰值 16GB 出头,全局 PSNR 对 BF16 大概 26.5dB。接着 T5 换回 BF16,还是 W8A8,峰值差不多没动,PSNR 到了 27.4。Partial INT8 那档画质最稳,PSNR 接近 27.9,代价是峰值直接上到 20GB。

论文里还有个 W4A4,峰值能压到 10GB 出头,可 PSNR 掉到 18 左右,肉眼就看得出区别,这档我只当参考。

最后留下的是 W8A8,体积和质量两头都顾到了。卡不够又想跑 dev 的,对着自己显存往上挑就行。

16G能跑dev太香了,我这12G卡有救没

PSNR只看全局不太够,手部和文字最好自己对比下