H3 的 w4a8 出来了,int4 的体积吃 int8 的画质

H3 的量化这下齐了,FL2VA 和 REF2VA 两条线都有 Kijai 做的 w4a8_mixed。卖点很直白:体积是真 int4 的体积,激活走 int8,质量贴着 int8,速度跟 int8 持平,显存紧张的机器等于白捡一档。

上手按这个顺序来,少走弯路:

  1. 先把 ComfyUI 更到最新版。 w4a8 的支持是 v0.31.0 才加的,版本不够别急着下模型。
  2. 按用途选线,别混着用。 FL2VA 是首尾帧生成视频和音频;REF2VA 走参考路线,最多 9 张参考图、3 段参考视频(每段可以带自己的音轨)、3 条独立参考音频。两个其实都能做文生视频、图生视频、视频生视频和音频生视频,但各自又朝主用途训过一轮,硬混着用质量会掉一截。
  3. 挑体积档。 14.81GB 偏均衡,17.27GB 偏质量,差两个多 G。显存吃得下就直接上质量那档。

30 系跑 w4a8 速度有差吗,还是 40 系才吃得到红利

牛的 :fire:

两个模型混着用会掉质量我踩过,当时还以为是提示词写坏了,查了半天

Kijai 出的量化一向稳,先下为敬

17.27 那档我这张卡刚好吃得下,晚上就试

1 个赞

混用掉质量这个坑我也踩过,当时还去怪采样器 :man_facepalming: