这个思路我挺喜欢:不走大模型微调那套,从头训一个小denoiser,把一张图片直接变成能实时玩的游戏,而且是在5090本地跑,不是丢数据中心。结构上像个因果Transformer,跟LLM一样KV cache住过去的信息,每出一帧就自回归decode一次,键盘输入实时喂进前向里。
现在0.5B那版毛病不少——动作糊、偶尔闪屏、上下文会崩,还没上量化和CFG,作者说在练0.
8B但不太顺。但方向是对的,消费级显卡跑实时世界模型这条线,能有人从零啃下来就值得看。
这个思路我挺喜欢:不走大模型微调那套,从头训一个小denoiser,把一张图片直接变成能实时玩的游戏,而且是在5090本地跑,不是丢数据中心。结构上像个因果Transformer,跟LLM一样KV cache住过去的信息,每出一帧就自回归decode一次,键盘输入实时喂进前向里。
现在0.5B那版毛病不少——动作糊、偶尔闪屏、上下文会崩,还没上量化和CFG,作者说在练0.
8B但不太顺。但方向是对的,消费级显卡跑实时世界模型这条线,能有人从零啃下来就值得看。
本地实时这点是真的猛
0.5B能跑成这样已经不错了
顶 ![]()
自回归逐帧配KV cache,跟世界模型一个路子
5090的功劳有多大?换4070还能实时吗
蹲0.8B
从零训denoiser是狠人