想象一下:手里握个摇杆往前推,眼前的街道就一路接着长出来;转个视角,它现场补出一块新空间;走到一半输一句把整条街换成赛博朋克,画面跟着就变了。底下没有一张提前搭好的地图,你走到哪,它生成到哪。
这就是Alaya World刚开源的东西。15B的模型权重和推理代码在github.com上已经能直接拿,协议是Apache 2.0,训练代码、数据和部署流程说是这个月继续放。
它和Runway、可灵那种给个提示吐出一段成片的思路不一样。起点可以是一句话、一张图或者一段视频,之后模型以720p、24FPS实时往下生成,目前能连续跑一分钟以上。
一分钟听着不长,可这类长时间生成最难的恰恰是误差一帧帧往上累积,典型毛病就是离开一条街再走回来,已经换了个地方。它的办法是两层记忆:
- 3D cache:记物体大概在空间里什么位置
- 压缩帧历史:记画面里出现过什么
再配上漂移模拟、Error Bank、Self-Forcing++这几套机制把偏差往回压。我的理解是一层管在哪、一层管有啥,两边对得上,走回头路才不容易穿帮。
泼盆冷水:实时推理还要H200级的算力,家里那点显存暂时别想。