接活踩的坑:真人照片换动作,脸和背景死活跟着变

这几单人像和产品的活,客户要求都差不多:脸不能动,背景元素也别乱改,只让人物换个姿势、做个动作。

一开始我拿普通文生图整图重绘,跑出来脸立马就不是那张脸了。后来换了套路,现在的流程是:

  1. 上编辑类模型,把原图垫进去当参考
  2. 不该动的区域全部mask掉,只留要改动作的那块
  3. 只在遮罩区里动手,其余全锁死

按这个来,人脸和背景的保真度一下就上来了。模型我用的是Klein 9b配一个轻量lora,局部编辑基本压得住漂移,比整图重绘稳太多。

说白了,要一致性就别走生成的思路,走编辑的思路。

之前一直整图重绘,脸崩了还以为是lora的锅

Klein 9b吃多少显存啊,想本地试试

同想知道显存占用。另外背景能锁到什么程度,客户最在意的其实是货架和logo别乱动

2 个赞

本地折腾之前先拿 pixpix 跑几张看效果对不对得上需求,我当初省了这步白装一晚上

2 个赞