把跨镜头人脸记忆和语音模型缝一起,脸和声音终于能一路稳住

组合本身不复杂,拆开就三步:

  1. 人脸一致性交给带跨镜头角色记忆的那套,换了机位也还认得出是同一个人;
  2. 再接一个语音模型,专门管声线;
  3. 每个镜头里放一句重复的台词当锚,脸和声音两边都靠它对齐。

这么串起来,整段多个镜头切下来脸和声音都不飘了。以前最头疼的就是机位一换人就变脸,配音也接不上,这条线基本能压住。

权重打包了 bf16、fp8、Q8、Q5、INT8 几档,配完整工作流,另外挂了个免费的在线体验。显存吃紧的先拿小档跑跑看,跑完回来说说你那边多长的镜头还扛得住一致性。

脸和声音一起锁这个思路太顶了,做连续分镜就缺这个

多档权重贴心,24G卡终于能上桌了 :fire:

1 个赞

码住,回头试Q5

想问下那句锚定台词换语言还稳吗,中文场景担心口型