能在 12GiB 的卡上整个装进显存、不 offload 不换页，前提是系统自己占的显存别超过 1GiB——这句比什么参数都要紧。
这是 Kroma 的 w4a8 转换版，权重功劳是原作者的，授权也跟原模型走。体积约 9.2GiB，大概四成的层是 int8convrot，其余走更低精度。桌面挂着一堆浏览器窗口的话，1GiB 那条基本就破了，我一般先把显示输出切到核显，独显腾干净再加载，差别很明显。文本编码器那边有对应的量化 qwen3vl，得配套用，不然编码阶段又把省下来的显存吃回去，白折腾一场。
