大模型微调的路子看腻了,终于来个从零训的。
这个项目是从头训一个小denoiser,把一张图片直接变成能实时玩的游戏,跑在本地5090上,不是丢到数据中心。结构像个因果Transformer,跟LLM一样拿KV cache存住过去的信息,每出一帧就自回归decode一次,键盘输入实时喂进前向里,所以按键之后画面能接着变。
毛病也一堆:0.5B这版动作糊、偶尔闪屏、上下文会崩,量化和CFG都还没上。作者说在练0.8B,但不太顺。
不过方向是对的,消费级显卡跑实时世界模型这条线,有人肯从零啃,我就愿意一直盯着。