6G 的 3060 现在能在 ComfyUI 里原生跑 W4A4 了,把我的跑法记下来,想复现的照着来。
W4A4 就是权重和激活都压到 4bit,再走 Tensor Core 去算。只压权重的话,跑起来激活照样占显存,两头都压下来才是真省,这也是 6G 小卡吃得下的原因。
- 模型:Krea2 Turbo 的预量化版。
- 分辨率:1024。
- 采样:8 步,Euler 配 simple scheduler。
- 第一次生成:要编译算子,会明显慢一截,别以为卡死了,等它编完后面就顺了。
速度大概 1.78 秒一次迭代,整张 17 秒出头。
能跑通的关键其实在混合精度。它没有一股脑全压成 INT4:主干走 INT4,那几层敏感的 patch projection 单独扔到 INT8 路径跑,不然维度对不上会直接报错。所以要是你自己拼流程时冒出维度报错,先查查是不是这几层也被塞进 INT4 了。
6G 卡能这么玩,已经很知足。