AnimateDiff 在 ComfyUI 里做 vid2vid 的一份笔记

AnimateDiff 是 2023 年 7 月开源的,现在做 AI 视频算是比较能打的方案之一。我主要用 ComfyUI 这条路,因为能上 ControlNet 做视频转视频,还能用 Prompt Scheduling 在片子中途换提示词,这两点是 A1111 插件比不了的。

硬件门槛先说清:vid2vid 要 10G 显存,纯文生视频 8G 也能凑合。装的时候几个自定义节点要 git clone,再进 Manager 装 Auxiliary Preprocessors 和 FizzNodes。动作模块用 v1.5 v2 那个,底模随便一个 SD1.5 系的都行,我做二次元一般挂 DarkSushiMix。

几个参数值得记:context_length 保持 16 最稳,context_overlap 默认 4 就是前 16 帧一组、然后 12 到 28 帧一组这样叠着保证连贯;context_stride 理论上能让画面更一致,实际一开画面就抖,老老实实留 1。denoise 拉到 1 最强,想更贴近原视频就往下降。输出选 h265-mp4 质量最好。对了生成的视频不带 ComfyUI 那种可拖回工作流的元数据,想存工作流记得开 save_image 存一帧。

16 帧那个数我也是试出来的,改大改小都不如它

10G 显存做 vid2vid 会不会很慢啊

楼上 慢是慢,分辨率压到 640x360 能救一点

prompt scheduling 中途换词是这套最香的地方