文生视频模型到底在算什么,按我的理解捋一遍

文生视频被一堆参数包装得神乎其神,底子其实没那么玄。

我按自己的理解捋一下,说错了欢迎拍。核心思路和文生图是一脉相承的,都是扩散模型那套:从噪声出发一步步去噪还原。区别在于多了时间这一维,前后帧里的物体、光影、运动得接得上,不能这一帧手在左边,下一帧手飞了。

难点基本卡在两处,时序一致性和算力。帧数越多、时长越长,显存和推理时间都是爆炸式往上涨,所以多数产品先把片长锁死在几秒,再靠插帧和超分往上堆。

每家具体用什么架构、什么训练数据,我没把握就不瞎说了。想有个直观印象,把它当成会动的文生图就行,多出来的复杂度几乎全花在让画面别抽风上。

时序一致性这块解释得挺到位,我自己跑短片最头疼的就是人物脸每帧都在微变。

求教程

补一个理解:运动幅度大的镜头更容易崩,想稳就把提示词里的动作写克制点。

显存那句太真实了,我本地想跑长一点直接劝退,只能切云端。

1 个赞

本地跑视频真劝退,我24G的卡跑几秒就爆,最后老实切云端了

动作写克制这条实测管用,我把跑改成慢慢走,崩的概率直接少一半

补一句:现在不少是先出关键帧再补中间,跟纯逐帧去噪那套不太一样