一句话版本:你敲一段文字描述,模型直接给你输出一小段动态画面,不用自己去拍,也不用去剪。上课总有人问文生视频到底是啥,我基本就这么开头。
接着我会拿文生图来对比。两者的区别就在于多了时间维度。文生图只要一张画面好看就算交差;视频是一串画面连着放,前一帧和后一帧得对得上,人物的手脚、位置、光线不能突然变样,动作还得合理,不能走着走着腿换了方向。每一帧都要顾着前后文,所以它对算力和模型的要求比文生图高得多,这也是学生最容易忽略的地方。
然后得给他们泼点冷水:现在能做到的时长普遍不长,人物动作幅度一大就容易穿帮。原因跟上面是一回事,动作越大,需要保持一致的东西变化越剧烈,模型越容易顾此失彼。
我自己的理解是,它本质上是把静态生成又往前推了一步,但离“随便一句话出一部片子”还远着。给学生讲到这儿一般就够用了,说法不够严谨的地方,欢迎同行帮我改得更准确些。