分镜别让模型一次猜完,look和构图拆开出片稳很多

做视频分镜,镜头不稳的根子多半在提示词里:画面观感和镜头构图两件事被塞在同一段文字里,让模型自己同时去脑补。我后来把这两件拆开,稳定性一下就上来了。

分工是这样的:

  • 观感交给一张参考图去锁,让它照着参考来;
  • 构图和运镜交给一张深度图分镜去管,人物站哪、镜头怎么走,由深度图说了算。

实际操作就两步:

  1. 先正常生成一版分镜,按平时的写法出就行。
  2. 再把这版分镜转成灰度深度图的版本,后面构图以它为准。

第二步有个关键:一定要拿已有的分镜去转,别让图像模型凭空画深度图。凭空画的那种经常连人物位置都对不上,等于构图又交回给模型去猜,拆开也就白拆了。用现成分镜转出来的深度图,位置关系是从真实画面里来的,后面生成时模型只需要照着摆。

说实话这个流程我一开始嫌麻烦,拖了很久才试。真做下来多出来的就这一步转换,画面一致性是肉眼可见地好起来,很划算。与其反复改提示词赌运气,不如让参考图和深度图各管各的。

look和构图拆开这思路值,我以前全塞一个提示词里难怪乱

拿已有分镜转深度图这个细节关键,凭空画确实位置对不上

蹲一个具体的转换流程

多一步换稳定性,划算 :+1:

1 个赞

试过类似的,参考图锁风格真的管用

我的做法:老分镜截图→深度预处理→ControlNet锁构图,look那段单独配一张参考图。