一句话:质量几乎不掉,速度快近一倍,值得换。这是 Krea 2 Raw base 慢档的 HQ Int8 Row ConvRot 量化,从官方 BF16 转的。
作者贴的跟 BF16 相似度:Int8 ConvRot 96.2%,GGUF Q8 90.0%,FP8 Scaled 82.2%,NVFP4 只剩 63.7%,挺有说服力。
速度上 Int8 ConvRot 一张 3.05 秒,BF16 5.56 秒,1.82 倍;NVFP4 3.8 秒;GGUF Q8 6.06 秒,比 BF16 还慢一点。配他们的 ComfyUI 后端,3000、4000、5000 系上比 FP8 Scaled 快一倍。
能两头都占,我理解是量化流程接近训练那种。代价是量化本身不便宜,5090 上跑一次要三四个小时。