FLUX 3 把视频骨干直接拿去喂机器人了

机器人为什么非得从零学物理?拿视频生成模型当物理先验,这个思路提了有两年,Black Forest Labs 这回把它落成了一个统一 backbone,架构叫 Self-Flow,图像、视频、音频、动作预测全塞在同一套里。

真正干活的是视频骨干。大规模视频预训练过后,物体怎么动、接触时怎么形变、事件谁先谁后,模型已经有了个粗糙的表征,机器人那头就不用从零去学。官方的说法是同一任务大约只要一半的微调数据,更早的实验里数据量最多能降一个数量级。

我倒觉得工程上最实在的收益不是省数据,而是不用再维护四套模型、四条数据管线。

代价也明摆着:任何一端动一下都会牵到全身,版本管理只会更难。

架构收敛这一步迟早得走,各做各的太浪费算力了

蹲后续

1 个赞

一半微调数据的对比基线是什么没交代,这类数字水分一般都不小

动一处崩全身这个我太有体会了,上个项目就是这么塌的

音频也塞进同一个 backbone,我比较好奇它是怎么对齐时间轴的

而且也没说是哪类任务,一半这个数太漂亮了

机器人那头最缺的就是数据,能拿视频先验顶一段是真省钱

对齐我猜还是同一条时间轴切片,真要严格对上口型估计得再加一层