量化这块一直纠结掉不掉画质,看到这个Krea2 Turbo的Int8 Row ConvRot版本,作者给了组对比:跟BF16的相似度,Int8 ConvRot能到96.2%,GGUF Q8只有90%,FP8 Scaled 82.
2%,NVFP4更是掉到63.7%。速度上Int8 ConvRot 3.05秒,BF16要5.56秒,快了1.82倍。也就是画质几乎没损,速度快一倍,这个取舍我能接受。
8步turbo,据说在30/40/50系卡上比FP8 Scaled还快一截。自己拿5090跑了下,跟数字对得上。做量化的老哥可以研究下这套流程。