翻了下这个Krea2的INT4量化版,掉点比想象小

Krea2 这个 INT4 量化版,掉点比裸 4bit 小不少,12G 的卡就能塞下底模——前提是换专用的加载节点。

为什么掉得少:它是 4bit 整数权重,再叠一层 group-wise 的 Hadamard 旋转(作者管这叫 ConvRot)。量化最怕权重里那几个离群值,直接压到 4bit 会连带把一组数都压坏;先旋转一下把离群值摊平,再量化就没那么伤。

Raw 和 Turbo 两个都转了:

  • Raw:没蒸馏的底模,输出更活,适合拿来训 LoRA 和做微调
  • Turbo:8 步蒸馏版,出图快,Raw 上训好的 LoRA 能直接迁过来用

作者说 3060 12G 跑得动,SM8.0 以上的卡都行。要留意的是普通 loader 读不了这种权重,得配对应的 ConvRot 加载节点,别下完就直接拖进默认工作流。

1 个赞

裸4bit最先崩的就是脸和手,离群值处理好确实差别大

这个节点是管理器里能直接搜到,还是得手动拉仓库

ConvRot节点这提醒关键,我下完直接跑,出来一堆噪点还找了半天原因