记一下这两天折腾 MiniMax H3 的过程,同样是 12G 卡的可以参考。
原版:加载不进去,显存不够,没什么好说的。我这张卡在显存上被卡了很久,一直眼馋。
换 INT4 ConvRot 转换版:能跑了。权重文件小了一大截,内存和显存占用一起降下来,从读盘到出图的等待明显缩短。我理解主要是显存带宽压力小了,数据搬来搬去没那么堵,所以体感上特别轻快。
工作流一行没改。它动的只是权重精度,架构和能力都是原来那套,用法跟原版一致,原来怎么接节点现在还怎么接,这点省了我不少事。
代价也得说清楚:INT4 毕竟把精度压下去了,跟全精度比画质有一点点差异,细节和边缘偶尔能看出来。别把它当成完全等价的替换,对细节要求高的图尤其要留个心眼。
所以我现在是分两段用:
- 量化版做前期,批量试构图、做筛选,这阶段要的就是量和速度,那点画质差异无所谓;
- 选中的那几张,再想办法上原版重出一遍,把细节补回来。
显存不够的机器,这种量化版基本就是唯一解,先用起来再说吧。