RL为什么一直没法老老实实在真机上跑?太贵了。每失败一次就是硬件损耗加人工复位,采样效率低到没法看。
原力灵机这次发的DW0.5就是冲这个来的:用世界模型给VLA做训练,把强化学习那一套搬进虚拟世界里跑。思路不新,大家都想把交互塞进模拟器,可模拟器和真实世界之间那条缝一直在,物理参数、接触力、材质反光怎么调都还差一点,训出来的策略一进现实就露馅。世界模型不是手工搭的模拟器,是从数据里学出来的,理论上那条缝能小一些。
我盯的是学出来的环境准不准、能不能撑住足够长的rollout。这事一两个数字讲不清,发个benchmark也难取信,等真机表现再说。编号给0.5,看着是故意留了往上走的空间。