做视频分镜,镜头不稳的根子多半在提示词里:画面观感和镜头构图两件事被塞在同一段文字里,让模型自己同时去脑补。我后来把这两件拆开,稳定性一下就上来了。
分工是这样的:
- 观感交给一张参考图去锁,让它照着参考来;
- 构图和运镜交给一张深度图分镜去管,人物站哪、镜头怎么走,由深度图说了算。
实际操作就两步:
- 先正常生成一版分镜,按平时的写法出就行。
- 再把这版分镜转成灰度深度图的版本,后面构图以它为准。
第二步有个关键:一定要拿已有的分镜去转,别让图像模型凭空画深度图。凭空画的那种经常连人物位置都对不上,等于构图又交回给模型去猜,拆开也就白拆了。用现成分镜转出来的深度图,位置关系是从真实画面里来的,后面生成时模型只需要照着摆。
说实话这个流程我一开始嫌麻烦,拖了很久才试。真做下来多出来的就这一步转换,画面一致性是肉眼可见地好起来,很划算。与其反复改提示词赌运气,不如让参考图和深度图各管各的。