手上那张12G的卡一直卡在显存上,原版MiniMax H3压根加载不进去。换成INT4 ConvRot这个转换版之后终于能跑起来,权重体积小一大截,内存和显存占用都掉下来,读盘到出图之间的等待明显短了,显存带宽压力也小很多。
架构和能力都没动过,用法跟原版一致,工作流不用改。代价也很直接:权重精度压到INT4,跟全精度比会有一点点画质差异,细节和边缘偶尔能看出来,不算完全等价的替换。
我现在的用法是拿它做前期批量试构图和筛选,选中的那几张再想办法上原版重出一遍。显存不够的机器,这种量化版基本就是唯一解了。