随便让现在的视频模型生成一段杯子从桌边掉下去的镜头,大概率是落地那一下直接穿进地板;再让一只手伸过去抓杯子,手指从杯身里穿过去。单看每一帧都挺像回事,连起来物理上完全不成立。
我一直觉得毛病出在训练目标上:模型学的是画面像不像,没人教它物体接下来会怎么动。它背下来的是像素的统计规律,不是“杯子有重量、手有体积”这种常识,所以一到接触、碰撞就露馅。
最近在琢磨 Flex-π 这个路子。它训练时不只盯着 RGB,而是让一个模型同时预测几样东西,几路信号一块儿当监督:
- 未来的画面
- 3D 点图
- DINO 那套语义特征
- 动作
按我的理解,点图管几何,DINO 特征管语义,动作管“接下来发生什么”。等于把几何和语义硬塞进训练目标,逼它长出一点空间直觉,而不是只背像素。
工程上更香的是部署:同一个权重,既能当纯动作策略跑,也能当完整世界模型跑,或者夹在中间某一档,不用为不同场景各训一套。
跟我们平时玩的生成模型看着是两条线,我倒觉得迟早会撞到一起。往后拼的不是分辨率,是模型脑子里有没有一个说得通的世界。