把图片变成能玩的游戏,还在5090本地实时跑

大模型微调的路子看腻了,终于来个从零训的。

这个项目是从头训一个小denoiser,把一张图片直接变成能实时玩的游戏,跑在本地5090上,不是丢到数据中心。结构像个因果Transformer,跟LLM一样拿KV cache存住过去的信息,每出一帧就自回归decode一次,键盘输入实时喂进前向里,所以按键之后画面能接着变。

毛病也一堆:0.5B这版动作糊、偶尔闪屏、上下文会崩,量化和CFG都还没上。作者说在练0.8B,但不太顺。

不过方向是对的,消费级显卡跑实时世界模型这条线,有人肯从零啃,我就愿意一直盯着。

延迟要是能再压一压,拿来做游戏原型demo都够了

顶 :fire:

5090的功劳有多大?换4070还能实时吗

蹲0.8B

从零训denoiser是狠人