Krea2 Turbo 的 Int8 ConvRot,画质几乎没掉速度快一倍

想请教做量化的老哥一个取舍问题。一直纠结量化掉不掉画质,Krea2 Turbo 这个 Int8 Row ConvRot 版本作者给了组对比,看着挺香,想问问值不值得整套搬过来。

作者给的数字,跟 BF16 的相似度:

  • Int8 ConvRot:96.2%
  • GGUF Q8:90%
  • FP8 Scaled:82.2%
  • NVFP4:63.7%

速度 Int8 ConvRot 3.05 秒,BF16 5.56 秒,快 1.82 倍。8 步 turbo,据说在 30/40/50 系卡上比 FP8 Scaled 还快一截。我自己拿 5090 跑了一下,和数字对得上。画质几乎不掉、速度快一倍,这个取舍我是能接受的。

想问的是:这套 ConvRot 流程有没有人实际搬过,坑在哪?

换完记得把常用lora也过一遍,量化版有时候吃不动

30系没fp8硬件,这条路对老卡可能更友好

确实