本地跑SD出短视频,我把AnimateDiff这套流程理顺了

前阵子老有人问SD能不能出视频。能,而且不用联网,显卡够就本地跑。我用ComfyUI搭的AnimateDiff,现在流程算理顺了,按顺序记一下:

  1. 先固定一张满意的关键帧。 画面、构图、人物都在这一张里定死,后面只让它动,不让它重新长。
  2. 让运动模块在时序上补帧。 坑就在这一步:motion模块和底模版本一定要对得上,版本错了整段直接糊成一片。我头一回还以为是提示词写坏了。
  3. 帧数别一上来就拉满。 先出16帧,看动得对不对,方向对了再加长。道理很简单,方向错了拉多长都是白等。
  4. 最后拉进剪辑软件补个插帧、调下速度,这套就算走完了。

想要更实拍一点的质感,可以走Stable Video Diffusion那条线,它是图生视频,镜头推拉比较自然,跟上面先定关键帧再补帧的思路不是一回事,按需求挑。

我这台卡一般,出几秒要等挺久,所以才特别在意先拿16帧试方向。motion参数我自己还在摸,跑通的朋友方便的话贴下你们怎么调的,我拿来对照着试。

求教程

SVD图生视频那条确实自然,就是可控性差点,很多时候全靠抽

卡不行是真难受,出几秒的活儿等到怀疑人生 :sob:

楼主用的哪个motion模型,方便说下具体版本吗,我这边总对不上