前阵子老有人问SD能不能出视频。能,而且不用联网,显卡够就本地跑。我用ComfyUI搭的AnimateDiff,现在流程算理顺了,按顺序记一下:
- 先固定一张满意的关键帧。 画面、构图、人物都在这一张里定死,后面只让它动,不让它重新长。
- 让运动模块在时序上补帧。 坑就在这一步:motion模块和底模版本一定要对得上,版本错了整段直接糊成一片。我头一回还以为是提示词写坏了。
- 帧数别一上来就拉满。 先出16帧,看动得对不对,方向对了再加长。道理很简单,方向错了拉多长都是白等。
- 最后拉进剪辑软件补个插帧、调下速度,这套就算走完了。
想要更实拍一点的质感,可以走Stable Video Diffusion那条线,它是图生视频,镜头推拉比较自然,跟上面先定关键帧再补帧的思路不是一回事,按需求挑。
我这台卡一般,出几秒要等挺久,所以才特别在意先拿16帧试方向。motion参数我自己还在摸,跑通的朋友方便的话贴下你们怎么调的,我拿来对照着试。