6G 的 3060 也能原生跑 INT4,Krea2 Turbo 实测 17 秒一张

6G 的 3060 现在能在 ComfyUI 里原生跑 W4A4 了,把我的跑法记下来,想复现的照着来。

W4A4 就是权重和激活都压到 4bit,再走 Tensor Core 去算。只压权重的话,跑起来激活照样占显存,两头都压下来才是真省,这也是 6G 小卡吃得下的原因。

  1. 模型:Krea2 Turbo 的预量化版。
  2. 分辨率:1024。
  3. 采样:8 步,Euler 配 simple scheduler。
  4. 第一次生成:要编译算子,会明显慢一截,别以为卡死了,等它编完后面就顺了。

速度大概 1.78 秒一次迭代,整张 17 秒出头。

能跑通的关键其实在混合精度。它没有一股脑全压成 INT4:主干走 INT4,那几层敏感的 patch projection 单独扔到 INT8 路径跑,不然维度对不上会直接报错。所以要是你自己拼流程时冒出维度报错,先查查是不是这几层也被塞进 INT4 了。

6G 卡能这么玩,已经很知足。

牛啊 :fire:

6G 卡有救了

混合精度那段是关键,纯 INT4 质量掉太多

求 workflow,想复现一下

第一次编译那下我等了好久,差点以为卡死强关了

1 个赞