22B 那套量化包别选错加载器,我卡了半小时

下载之前先把三件事过一遍,能省掉我那半小时。

  1. 先算显存。原版权重四十多 G,文本编码器还要再吃二十多 G,家用卡基本没法整个塞进去,所以有人按显存切了十几个档位出来。
  2. 看清自己主程序的版本。加载器分两套:一套得装 GGUF 那个自定义节点,走大家熟的 Q 系列;另一套是新版主程序自带的节点直接读。版本够新就优先走原生那套,少装一个自定义节点,以后升级炸掉的概率就少一份。
  3. 选档别贪高。显存刚好卡在边缘的不要硬上高档位,出图慢到怀疑人生,降一档反而舒服。

我自己就是栽在第二条。用错方式报的错里一个字都没提你选错了加载器,只甩一串莫名其妙的堆栈,我还以为权重下坏了,又老老实实重下了一遍。

好家伙

1 个赞

两套加载器这事真该在页面顶部写红字,我也栽过。

我 16G 的卡选的中间档,速度还行,就是加载慢。

我把文本编码器换成 fp8 的,占用直接砍一半,画质没看出差别。