Krea 2的Int8 Row ConvRot量化:又快又几乎不掉质量

一句话:质量几乎不掉,速度快近一倍,值得换。这是 Krea 2 Raw base 慢档的 HQ Int8 Row ConvRot 量化,从官方 BF16 转的。

作者贴的跟 BF16 相似度:Int8 ConvRot 96.2%,GGUF Q8 90.0%,FP8 Scaled 82.2%,NVFP4 只剩 63.7%,挺有说服力。

速度上 Int8 ConvRot 一张 3.05 秒,BF16 5.56 秒,1.82 倍;NVFP4 3.8 秒;GGUF Q8 6.06 秒,比 BF16 还慢一点。配他们的 ComfyUI 后端,3000、4000、5000 系上比 FP8 Scaled 快一倍。

能两头都占,我理解是量化流程接近训练那种。代价是量化本身不便宜,5090 上跑一次要三四个小时。

NVFP4只有63.7%相似度没想到,掉得有点狠

5090量化要三四小时,手里3090的看看就好

相似度怎么算的没说,想看同 seed 的对比图