12B激活压过41B激活,Inkling-Small这个稀疏比有点狠

276B总参、每个token只激活12B,听着轻巧,显存还是会被总参数量卡死。MoE省下来的是算力不是存储,全量权重照样得驻留,这点别被激活量骗了。

真正有意思的是,就这12B激活,在Terminal-Bench 2.1、HLE和SWE-Bench Verified上都压过了激活41B的那版Inkling,说明路由策略和专家切分的收益比单纯堆激活量划算。原生音频、视觉再加1M上下文一起给,多模态和长程能力塞进了同一套权重。开源这点最实在,能自己拆开看专家分布、路由均不均衡。部署侧的账另算:稀疏模型吞吐很吃batch,小并发场景反倒讨不到便宜。

码住