把图片变成能玩的游戏,还在5090本地实时跑

这个思路我挺喜欢:不走大模型微调那套,从头训一个小denoiser,把一张图片直接变成能实时玩的游戏,而且是在5090本地跑,不是丢数据中心。结构上像个因果Transformer,跟LLM一样KV cache住过去的信息,每出一帧就自回归decode一次,键盘输入实时喂进前向里。

现在0.5B那版毛病不少——动作糊、偶尔闪屏、上下文会崩,还没上量化和CFG,作者说在练0.

8B但不太顺。但方向是对的,消费级显卡跑实时世界模型这条线,能有人从零啃下来就值得看。

本地实时这点是真的猛

0.5B能跑成这样已经不错了

1 个赞

:fire:

自回归逐帧配KV cache,跟世界模型一个路子

5090的功劳有多大?换4070还能实时吗

蹲0.8B

从零训denoiser是狠人