12G显存跑MiniMax H3的INT4版,加载是真的轻快了

记一下这两天折腾 MiniMax H3 的过程,同样是 12G 卡的可以参考。

原版:加载不进去,显存不够,没什么好说的。我这张卡在显存上被卡了很久,一直眼馋。

换 INT4 ConvRot 转换版:能跑了。权重文件小了一大截,内存和显存占用一起降下来,从读盘到出图的等待明显缩短。我理解主要是显存带宽压力小了,数据搬来搬去没那么堵,所以体感上特别轻快。

工作流一行没改。它动的只是权重精度,架构和能力都是原来那套,用法跟原版一致,原来怎么接节点现在还怎么接,这点省了我不少事。

代价也得说清楚:INT4 毕竟把精度压下去了,跟全精度比画质有一点点差异,细节和边缘偶尔能看出来。别把它当成完全等价的替换,对细节要求高的图尤其要留个心眼。

所以我现在是分两段用:

  1. 量化版做前期,批量试构图、做筛选,这阶段要的就是量和速度,那点画质差异无所谓;
  2. 选中的那几张,再想办法上原版重出一遍,把细节补回来。

显存不够的机器,这种量化版基本就是唯一解,先用起来再说吧。

12G能跑起来就已经算赢了,我这张卡以前只能看别人发图

码住

INT4和原版的差距具体落在哪一块?人脸还是材质纹理更容易崩

同一套工作流试过,量化版加载确实快,纯出图的速度我这边感觉差别不大

1 个赞