FLUX.1-dev的ConvRot量化版几个档都跑了,低显存的可以蹲

给ComfyUI原生用的FLUX.1-dev ConvRot量化模型,几个档我都过了一遍。W8A8配INT8的T5这套,低显存峰值大概16GB出头,全局PSNR对BF16是26.

5dB左右;换成W8A8加BF16的T5,PSNR能到27.4,峰值差不多。想再稳一点画质,Partial INT8那档PSNR近27.9,但峰值上到20GB。论文里那个W4A4峰值能压到10GB出头,代价是PSNR掉到18左右,画质肉眼就能看出区别。

要平衡体积和质量,W8A8那档是比较稳的选择。手上卡不够又想跑dev的,可以对着自己显存挑。

16G能跑dev太香了,我这12G卡有救没

W4A4掉到18dB确实肉眼可见,还是W8A8稳