把Krea2 BF16量成Q8和Q4的GGUF,Q4基本废了

一句话:Krea2 BF16 转 GGUF,Q8_0 能用,Q4_0 废。

Q8 画质掉一点,显存省一截;Q4_0 出来的勉强算张图。loader 就是当初给 Ideogram 4 装的那个 GGUF loader,Krea2 也认。还转了个 RAW 的 GGUF,基本不出图,留着当训练底座试试。想省显存的直接上 Q8。

请问Q8比原BF16显存能省多少,值不值得折腾

那个loader到底哪个啊,我这边一加载就报错

1 个赞

码住

RAW拿去做训练底座这思路有点意思,成了记得回来发帖