配音、角色驱动、音画同步、多镜头精修,开源这条链终于闭上了

这几天把手上几个开源模型串了一遍,按折腾的顺序记一下。

先是配音。IndexTTS-2.5 只有 0.8B,音色克隆、情绪、语速、读音都能单独控。以前做一条短片,配音这段得另外找人,现在基本不用再外求。

接着是角色驱动,交给 Wan2.2-Animate。一张角色图就能复刻真人的动作和表情,也能把视频里的人整个替换掉,做口播很顺手,我自己 K 动作那一步直接省掉了。

卡得最久的是音画同步。以前都是剪完再回头补对不上的地方,返工碎得很难排期,而且一条片补完一处往往又晃出另一处。NAVA 是 6.3B 的原生音画模型,声音和画面在同一个模型里出来,所以不用我在后面对齐;FP8 大概占 18GB,24GB 卡能出 720p,我把这一环整个交给它兜住,前面 TTS 和 Animate 就不用去迁就口型。

收尾用 LTX-2.5,原生支持多镜头,配了 9 套 ComfyUI 工作流。要提醒一句,16GB 显存只是启动线,真要精修还得往上堆,照最低配估预算会被坑。

顺序最后定成 TTS 出声 → Animate 驱动角色 → NAVA 做同步 → LTX 多镜头精修。之所以把配音放最前面,是因为声音一定下来,后面角色的动作节奏和镜头切点才有东西可对,反过来先出画再配音就得来回改。每段只管一件事,哪段不满意单独换掉就行,不用整条推倒。加上前面 H3 把开源视频这块带起来,这边总算不只是产五秒素材了。权重和工作流去 huggingface.co 翻。

蹲后续

LTX 那 9 套工作流我拆过,多镜头那套改改就能直接用

Animate 换人物崩不崩?我拿旧素材试的时候侧脸会漂

1 个赞

24GB 跑 720p 我这边得把别的全退干净,不然到一半就 OOM

谢佬

串这么长一条链,中间任何一环出问题都得整段重跑,我更想要一体的

一体的省心但更新慢,串起来虽然烦,好处是哪段不行能单独换掉