ConvRot 量化的 FLUX.1-dev 出了给 ComfyUI 原生用的版本,这几天挨个档跑了一遍,按顺序写下来。
先跑的 W8A8 + INT8 的 T5,显存峰值 16GB 出头,全局 PSNR 对 BF16 大概 26.5dB。接着 T5 换回 BF16,还是 W8A8,峰值差不多没动,PSNR 到了 27.4。Partial INT8 那档画质最稳,PSNR 接近 27.9,代价是峰值直接上到 20GB。
论文里还有个 W4A4,峰值能压到 10GB 出头,可 PSNR 掉到 18 左右,肉眼就看得出区别,这档我只当参考。
最后留下的是 W8A8,体积和质量两头都顾到了。卡不够又想跑 dev 的,对着自己显存往上挑就行。