生数科技把世界模型拆成生成、交互、行动三层

“世界模型”这词快被机器人和自动驾驶占成专属名词了,生数科技这套拆法反倒讲清了它不只是预测下一帧。他们自己的说法是理解、想象、行动三段,落到产品上大概是:

  1. 生成:Vidu 负责生成会持续变化的数字世界。
  2. 交互:Vidu S1 把用户的实时指令放进生成循环,能连续交互。
  3. 行动:Motubrain 把理解和预测转成机器人能执行的动作。

底下是同一套基座,MoT 架构让像素空间和动作空间共用一套。

我真正盯的是那个正向循环:视频预训练给机器人喂通用世界知识,机器人的真实行动再反过来补物理约束。两头能互相喂才算闭环,不然就是三款产品拼在一起讲故事。最后还得看内容提效和机器人稳定落地这两本账算不算得过来。

1 个赞

Vidu S1实时交互的延迟有多大,有人上手试过没

真实行动数据太贵了,回补物理约束那步最难

MoT把像素和动作放一个架构里,思路挺猛

蹲落地