这事的意义不在 Kimi K3 本身,而在于 3T 级别的开源模型终于有人真跑起来对外服务了。九章云极宣布 Alaya Token 完成了 K3 的适配,口径是全球第一个进 Token 工厂的 3T 级开源模型。
为什么我更看重“跑起来”:3T 这个量级,光把权重装下就够呛,绝大部分团队本地根本起不来,放出来也只能看着。能对外提供推理,背后工程量肯定不小。
但官方说法里缺了我最关心的几项:
- 实际吞吐和单 token 成本压到了多少
- 卡间通信有没有成瓶颈——不管稠密还是稀疏结构,这块一卡,参数再大也扛不住并发
- 量化用的什么方案,精度掉了没有
这几个数出来之前,我先持观望态度。