能同时预测画面和动作的模型,可能才是视频生成的下一步

随便让现在的视频模型生成一段杯子从桌边掉下去的镜头,大概率是落地那一下直接穿进地板;再让一只手伸过去抓杯子,手指从杯身里穿过去。单看每一帧都挺像回事,连起来物理上完全不成立。

我一直觉得毛病出在训练目标上:模型学的是画面像不像,没人教它物体接下来会怎么动。它背下来的是像素的统计规律,不是“杯子有重量、手有体积”这种常识,所以一到接触、碰撞就露馅。

最近在琢磨 Flex-π 这个路子。它训练时不只盯着 RGB,而是让一个模型同时预测几样东西,几路信号一块儿当监督:

  • 未来的画面
  • 3D 点图
  • DINO 那套语义特征
  • 动作

按我的理解,点图管几何,DINO 特征管语义,动作管“接下来发生什么”。等于把几何和语义硬塞进训练目标,逼它长出一点空间直觉,而不是只背像素。

工程上更香的是部署:同一个权重,既能当纯动作策略跑,也能当完整世界模型跑,或者夹在中间某一档,不用为不同场景各训一套。

跟我们平时玩的生成模型看着是两条线,我倒觉得迟早会撞到一起。往后拼的不是分辨率,是模型脑子里有没有一个说得通的世界。

1 个赞

蹲

多预测几路之后推理会慢多少?这个我比较关心,实时场景怕扛不住。

倒水那种镜头我试过,水杯边缘直接吃进桌面里

让它学动作而不是学像,方向我信,就是这类数据上哪弄是个问题

水吃进桌面太典型了,液体和碰撞现在基本靠蒙

1 个赞