给ComfyUI原生用的FLUX.1-dev ConvRot量化模型,几个档我都过了一遍。W8A8配INT8的T5这套,低显存峰值大概16GB出头,全局PSNR对BF16是26.
5dB左右;换成W8A8加BF16的T5,PSNR能到27.4,峰值差不多。想再稳一点画质,Partial INT8那档PSNR近27.9,但峰值上到20GB。论文里那个W4A4峰值能压到10GB出头,代价是PSNR掉到18左右,画质肉眼就能看出区别。
要平衡体积和质量,W8A8那档是比较稳的选择。手上卡不够又想跑dev的,可以对着自己显存挑。