翻了个开源的可玩视频世界模型,边生成边能操控视角这点挺狠

本来只想扫一眼说明,结果架构图和代码来回翻到半夜。

一个开源的视频世界模型。最先注意到的是它不一次性吐完整段视频,改成边生成边交互。我起初以为是分段拼接,往下读才发现不是——镜头轨迹是拿一个渲染出来的三维缓存去约束的,你给一条路径,视角是真顺着那条路走。

再往后翻到中途换提示词,生成到一半临时塞个新事件进去它也认。这条最出乎我意料。

一致性那块留了两套记忆,其中一套就是把显式的三维缓存重投影回当前视角,用来记住空间。指标上号称能撑到 720p、24 帧的流式生成。

看到这儿我最想弄明白的还是那个三维缓存到底怎么跟扩散主干对齐,光看架构图看不出来。源码已经拉下来了,这两天啃一啃,有进展回来更。

中途插事件我更担心接缝,切换那一帧会不会跳。

求教程

1 个赞

边生成边操控的话延迟能压到多少?本地卡有没有可能跑到接近实时