Sand.ai今早开源的千亿级MoE视频生成模型,说是全球头一个做到这个量级的,但参数量反而不是最该看的,关键是它给出的这条扩规模的路,别人能不能跟着走通。
做视频生成这两年最难受的就是规模上不去:dense结构硬往上堆,训练和推理成本几何级往上翻,不少团队卡在这一步,只能回头改数据配方。MoE在语言模型那边已经验证过一轮,可视频时序长、分辨率又高,路由怎么设计、专家之间怎么分工,照抄一套配置是work不了的。权重放出来了,社区很快会有人去扒结构和训练细节,实际生成质量站不站得住,等第一批跑过的人说话。