Sand.ai把千亿MoE视频模型开源了,114B参数只激活6B

视频生成走 MoE,之前一直停在推演阶段,真开源出来还是头一回见。拆开看我比较关心三件事:

  1. 114B 总参数、6B 激活。 推理时每一步实际参与计算的只有 6B,计算量跟一个中等模型差不多,总容量却拉得很高。视频既要管住帧与帧之间的时间一致性,又要管单帧的画面细节,两头的活性质不一样,交给不同的稀疏专家去分工,理论上是对症的。当然「理论上」这三个字先挂着。

  2. 成本。 官方口径是 10 秒 1080P 五毛钱上下。如果这是端到端算下来的账,而不是只算了其中某一段推理,那对批量出片的团队来说,这个数字比参数量有吸引力得多——他们算的是一条片子花多少钱,不是模型有多大。

  3. 能不能塞进消费级卡。 6B 激活听着很友好,但激活少不等于显存占得少,专家权重放哪、怎么调度,才是显存那关真正要过的坎。这块只能等社区拿到权重自己折腾。

我自己的顺序是先等第 3 条有人跑出结果,再回头核第 2 条那笔账,第 1 条的结构优势最后自然会落到出片效果上。

6B激活是好听,可114B的总权重还是得整个塞显存里吧