Kimi 这回直接把 2.8T 参数的模型开源出来了。
第一反应不是能不能打过谁，是谁跑得起来。这个体量的权重光存下来就够呛，本地部署基本不用想，能真正拿来用的还是手上有集群的机构，剩下的人只能等各家推理服务上架，再按 token 付钱。
开源这两个字在这个尺度上，含义跟几年前已经不一样了。早期开源约等于我也能在自己机器上折腾，现在更像是研究可复现、允许别人在上面做微调和蒸馏，实际动手门槛反而更高。
光看参数量也说明不了太多。稠密还是稀疏、实际激活多少、喂了多少数据，这些没披露之前，一个数字很容易被拿来带节奏。等有人认真跑完再评。