腾讯混元开源 Hy-Nomas:能按相机轨迹走的视频世界模型,还带世界记忆

腾讯混元放出的 Hy-Nomas 是个交互式视频世界模型,开源免费,代码和权重 GitHub、Hugging Face 都有,入口在 腾讯混元官网。区别于普通文生视频,它除了文本提示词还吃相机轨迹,镜头往哪走你定;带世界记忆做长时程生成,专治“转一圈回来房子没了或换了样子”。另外有轻量 LoRA 适配(官方例子是机器人这类专用领域),推理针对消费级显卡优化过。

我想拿它验证小游戏原型的关卡氛围和镜头走位,以前不是搭白盒就是靠图生视频碰运气。打算这么上手:

  1. 原样跑官方示例,先确认环境能起来;
  2. 给一条直走再回头的简单轨迹,只看轨迹跟随;
  3. 拉长时程走远再折返,看回头一致性,世界记忆能撑多久就靠这步;
  4. 前两项过关再碰 LoRA。

预期放低点:消费级显卡具体要多大显存、能跑多长,我没找到能确认的数字;它也没有物理和碰撞,只是看起来能走。做前期可视化够用,替代白盒别想。

终于有个开源的能控镜头了,之前那些世界模型基本只能看演示

蹲个显存实测

做室内漫游的很关心世界记忆这块。客户最常见的要求就是从客厅走到阳台再走回来,普通视频模型一回头沙发就换了款式,要是这个能稳住,出方案预览会快很多。

LoRA适配给机器人用,感觉这才是腾讯真正想押的方向,生视频只是顺带

1 个赞

楼上这么说有点武断吧,开源出来给社区玩,视频创作这边肯定也是目标之一

好家伙

有人知道 ComfyUI 节点啥时候能有吗 :thinking: