文生视频被一堆参数包装得神乎其神,底子其实没那么玄。
我按自己的理解捋一下,说错了欢迎拍。核心思路和文生图是一脉相承的,都是扩散模型那套:从噪声出发一步步去噪还原。区别在于多了时间这一维,前后帧里的物体、光影、运动得接得上,不能这一帧手在左边,下一帧手飞了。
难点基本卡在两处,时序一致性和算力。帧数越多、时长越长,显存和推理时间都是爆炸式往上涨,所以多数产品先把片长锁死在几秒,再靠插帧和超分往上堆。
每家具体用什么架构、什么训练数据,我没把握就不瞎说了。想有个直观印象,把它当成会动的文生图就行,多出来的复杂度几乎全花在让画面别抽风上。