本来只想扫一眼说明,结果架构图和代码来回翻到半夜。
一个开源的视频世界模型。最先注意到的是它不一次性吐完整段视频,改成边生成边交互。我起初以为是分段拼接,往下读才发现不是——镜头轨迹是拿一个渲染出来的三维缓存去约束的,你给一条路径,视角是真顺着那条路走。
再往后翻到中途换提示词,生成到一半临时塞个新事件进去它也认。这条最出乎我意料。
一致性那块留了两套记忆,其中一套就是把显式的三维缓存重投影回当前视角,用来记住空间。指标上号称能撑到 720p、24 帧的流式生成。
看到这儿我最想弄明白的还是那个三维缓存到底怎么跟扩散主干对齐,光看架构图看不出来。源码已经拉下来了,这两天啃一啃,有进展回来更。