12G显存跑MiniMax H3的INT4版,加载是真的轻快了

手上那张12G的卡一直卡在显存上,原版MiniMax H3压根加载不进去。换成INT4 ConvRot这个转换版之后终于能跑起来,权重体积小一大截,内存和显存占用都掉下来,读盘到出图之间的等待明显短了,显存带宽压力也小很多。

架构和能力都没动过,用法跟原版一致,工作流不用改。代价也很直接:权重精度压到INT4,跟全精度比会有一点点画质差异,细节和边缘偶尔能看出来,不算完全等价的替换。

我现在的用法是拿它做前期批量试构图和筛选,选中的那几张再想办法上原版重出一遍。显存不够的机器,这种量化版基本就是唯一解了。

12G能跑起来就已经算赢了,我这张卡以前只能看别人发图

码住

INT4和原版的差距具体落在哪一块?人脸还是材质纹理更容易崩

同一套工作流试过,量化版加载确实快,纯出图的速度我这边感觉差别不大

1 个赞