机器人为什么非得从零学物理?拿视频生成模型当物理先验,这个思路提了有两年,Black Forest Labs 这回把它落成了一个统一 backbone,架构叫 Self-Flow,图像、视频、音频、动作预测全塞在同一套里。
真正干活的是视频骨干。大规模视频预训练过后,物体怎么动、接触时怎么形变、事件谁先谁后,模型已经有了个粗糙的表征,机器人那头就不用从零去学。官方的说法是同一任务大约只要一半的微调数据,更早的实验里数据量最多能降一个数量级。
我倒觉得工程上最实在的收益不是省数据,而是不用再维护四套模型、四条数据管线。
代价也明摆着:任何一端动一下都会牵到全身,版本管理只会更难。