Sand.ai把千亿MoE视频模型开源了,114B参数只激活6B

视频生成走MoE这条路,之前一直有人在推演,真开出来还是头一回见。114B总参数、6B激活,这个比例意味着推理时的实际计算量和一个中等模型差不多,容量上限却拉得很高——视频这种要同时管住时间一致性和画面细节的任务,用稀疏专家去分工理论上是对症的。

官方口径是10秒1080P、成本五毛钱上下,如果这是端到端算的账,对批量出片的团队来说吸引力比参数量本身大得多。

权重既然放出来了,接下来看社区能不能把它塞进消费级卡,6B激活听着友好,显存那关还是得看专家怎么摆。

6B激活是好听,可114B的总权重还是得整个塞显存里吧