Kimi K3 被 Alaya Token 适配了,3T 级开源模型进 Token 工厂

九章云极那边宣布 Alaya Token 完成了 Kimi K3 的适配,说法是全球第一个 3T 级别的开源模型进到 Token 工厂里跑。3T 参数这个量级,光是把权重装下就够呛,能做到对外提供推理服务,工程量应该不小。

我比较想知道的是实际吞吐和单 token 成本压到什么水平。这种超大稠密或者稀疏结构的模型,卡间通信一旦成为瓶颈,纸面参数再大也顶不住并发。另外量化方案用的是什么,是否有精度损失,这些官方口径里都没提。

开源侧能有这个体量的模型被真正跑起来对外服务,比模型本身放出来更有意义——大部分团队根本没有本地起它的条件。

3T 这个量级自己部署是别想了,只能指望有人提供服务。