多角色同框 LoRA 串味:分区框选 + 按区域归零 delta

多角色同框,A 的脸长到 B 身上,LoRA 串味这事我踩过太多回。这套分区做法拆开是四步:

  1. 画布上拉框。 每个框写自己的内容提示词和角色提示词,另外单留一条全局提示词,只管风格和光线。角色描述各待各的框,不去抢别人的注意力。
  2. 限制注意力权限。 框内的图像 token 只能访问本框的文本 token,框外的文本也进不来。但图像 token 之间不做限制,这点很关键:要是连图像 token 也隔开,边界上会留下很明显的矩形接缝,画面跟拼贴一样。
  3. LoRA 按区域生效,不融权重。 区域外的 delta 直接归零;带全局 K/V 投影的那类干脆跳过,只留 Q 的增量。我的理解是 K/V 一动,全图读到的东西都跟着变,只动 Q 等于只改"这块区域怎么去看",串味的口子就小多了。
  4. 边界强度随去噪步数衰减。 前几步压死,先把构图和角色归属定住;后面放开,让全局注意力去缝合接缝和光影过渡。

它不是完全可控的,模型在框里照样会自己发挥。可跟出完图再一块块 inpaint 比,省事太多了。

牛啊 :fire:

图像 token 不设限这个处理很聪明,我之前上硬掩码边界全是直角

有现成的 ComfyUI 节点吗,想直接接进现在的流程