本地跑SD出短视频,我把AnimateDiff这套流程理顺了

前阵子老有人问SD能不能出视频,能,而且不用联网、显卡够就本地跑。我用ComfyUI搭的AnimateDiff,思路是先固定一张满意的关键帧,再让运动模块在时序上补帧,最后拉进剪辑软件补个插帧调速。

踩过的坑是motion模块和底模版本要对得上,版本错了整段糊成一片;帧数别一上来就拉满,先出16帧看动得对不对再加长。想要更实拍质感的可以走Stable Video Diffusion那条线,图生视频、镜头推拉比较自然。

我这台卡一般,出几秒要等挺久。有跑通的人聊聊你们的motion参数怎么调的?

求教程

AnimateDiff那个motion和底模版本对不上真的糊,我踩过一模一样的坑

SVD图生视频那条确实自然,就是可控性差点,很多时候全靠抽

16帧先验证方向这条太实用,我以前一上来拉64帧等半天全废

1 个赞

卡不行是真难受,出几秒的活儿等到怀疑人生 :sob:

楼主用的哪个motion模型,方便说下具体版本吗,我这边总对不上