这是 Kroma 的 w4a8 转换版本,权重功劳全是原作者的,授权也跟原模型走。体积大概 9.2GiB,里面约四成的层是 int8convrot,其余走更低精度。定位写得很直白:12GiB 显存的卡上能整个装进显存,不用 offload、不用来回换页。
前提那句才是重点——系统本身占用别超过 1GiB 显存。桌面挂一堆浏览器窗口的话这条基本作废,我一般跑之前把显示输出切到核显,独显腾干净再加载,差别很明显。另外文本编码器那边也有对应的量化 qwen3vl,配套用才有意义,不然编码阶段又把省下来的显存吃回去,白折腾一场。