Matrix-Game 4.0 开源:单张 5090 跑 480p/60帧的视频大模型游戏

10月15日昆仑万维放出 Matrix-Game 4.0,发布即开源,代码、权重、白模都上了 Hugging Face。官方口号是“世界上第一款运行在单张消费级显卡上的视频大模型游戏”,“第一”等社区跑过再说。

硬指标:

  1. 单张 RTX 5090,480p 跑 60 FPS
  2. 按键到画面端到端延迟低于 150 毫秒,对比图标的 112 毫秒
  3. 显存峰值 18.5 GiB,文本编码器、DiT、VAE 全常驻一张卡
  4. 视频模型拿 Wan2.2 5B 改成视频到视频(V2V),30 层因果 DiT

我更在意分工。生命值、背包、碰撞、任务进度这些世界状态和规则,由游戏引擎用代码维护,引擎只出简单几何的“结构画面”,视频模型把白模渲成精细画面;再挂个 Coding Agent,自然语言改地形、改 NPC 行为、加玩法。等于把视频模型降成实时渲染器,不用“记住整个世界”。

纯靠模型记忆的世界模型,走远回头场景就漂,数值结算也没法测,这路线至少把规则拿回了代码。短板是 480p,官方说后续上 refiner 提分辨率,也在探索多人联机视角一致。有 5090 的可以拉下来跑跑。

峰值18.5G,4090的24G应该也塞得下,就看帧率掉多少

前排围观

“世界第一款”这种话各家都爱说,拿来比的几家要么没开放要么吃数据中心卡,口径本来就不一样,别急着封神

1 个赞

显存峰值18.5G的话,4090的24G理论上塞得下?就是帧率不知道要掉多少,有人试过没

楼上,官方写的是文本编码器+DiT+VAE全常驻5090,还做了FP8量化,换4090能不能稳60帧真不好说,等实测吧

底子是 Wan2.2 5B 的话,能不能往上挂自己练的 LoRA 换画风?想试试做个像素风的

5090这门槛先劝退一大半人 :sweat_smile:

回头试试