想请教做量化的老哥一个取舍问题。一直纠结量化掉不掉画质,Krea2 Turbo 这个 Int8 Row ConvRot 版本作者给了组对比,看着挺香,想问问值不值得整套搬过来。
作者给的数字,跟 BF16 的相似度:
- Int8 ConvRot:96.2%
- GGUF Q8:90%
- FP8 Scaled:82.2%
- NVFP4:63.7%
速度 Int8 ConvRot 3.05 秒,BF16 5.56 秒,快 1.82 倍。8 步 turbo,据说在 30/40/50 系卡上比 FP8 Scaled 还快一截。我自己拿 5090 跑了一下,和数字对得上。画质几乎不掉、速度快一倍,这个取舍我是能接受的。
想问的是:这套 ConvRot 流程有没有人实际搬过,坑在哪?