又把 Sora 那份技术方向翻出来看了一遍，想到哪记到哪。
它的做法先摆这：在不同时长、分辨率、宽高比的视频和图像上联合训练文本条件扩散模型，骨干用 transformer，操作对象是视频和图像 latent 上的时空 patch，最大的模型能生成一分钟高保真视频。他们自己的定位是，把大规模视频生成训练当成通往通用物理世界模拟器的一条路径。
我琢磨最久的是时空 patch 这层抽象。把视频帧切成一块块带时间维度的 patch，当 token 处理，和语言模型吃文本 token 基本是一个味道。我的理解是，这么一拆，不同时长、不同比例的素材都能变成同一种东西喂进去，联合训练才顺理成章。规模堆上去以后，模型对物理规律有了粗略的理解，这是涌现出来的。
可也正因为是这么学来的，它掌握的是统计意义上的物理，不是真在解方程。穿模、违反常识的各种翻车，根子都在这——模型知道画面“通常长这样”，不知道“为什么必须这样”。
所以我两头都认：现在翻车多一点也正常，但方向上，拿生成模型去逼近世界模拟器，比单纯追画质有想象力多了。