Open-Sora 2.0 开源,架构上还是那条路走到底

2.0 放出来了,路线没掉头,还是 3D 自编码器 + Flow Matching,把 1.2 的思路往深里做。我读下来改动集中在两处:

  1. 多桶训练。不同时长、不同分辨率的样本放进一次训练里一起喂,数据利用率上去了,也不用为每个分辨率单独开一版。
  2. 注意力换成 3D 全注意力。时空一起算,长程一致性理论上会好不少;代价是算力吃得更狠,序列一拉长,显存曲线相当难看。

指标我反倒没那么在意。这条技术路线终于有一份能读、能改的完整实现摆出来了,对我来说这才是这次开源最值钱的地方。

全注意力质量是好,可长序列显存是平方级涨,中小团队复现成本压不住