Sand.ai 开源了一个千亿级 MoE 的视频模型，按他们的说法是这个规模上的头一个。MoE 挪到视频这边，路子上是想绕开稠密模型一味堆参数堆算力的老办法，推理时只激活一部分专家，参数量和单次成本就能拆开来算。
语言模型那边这套跑通很久了，视频的难点在时空维度上专家怎么切、路由一抖会不会直接变成帧间闪烁。
真正的检验不在发布这天，而在权重落地之后有没有人能把它压到普通人跑得动的规模，跑通了这条 Scaling 路才算立住。
这么卷吗
MoE 上视频最怕路由不稳，帧间一闪就露馅。
Sand.ai 开源了一个千亿级 MoE 的视频模型，按他们的说法是这个规模上的头一个。MoE 挪到视频这边，路子上是想绕开稠密模型一味堆参数堆算力的老办法，推理时只激活一部分专家，参数量和单次成本就能拆开来算。
语言模型那边这套跑通很久了，视频的难点在时空维度上专家怎么切、路由一抖会不会直接变成帧间闪烁。
真正的检验不在发布这天，而在权重落地之后有没有人能把它压到普通人跑得动的规模，跑通了这条 Scaling 路才算立住。
这么卷吗
MoE 上视频最怕路由不稳，帧间一闪就露馅。