不重训模型,直接在潜空间里把一张脸改细

眉毛往下压两分,出来的人就不是她了——给人像做个性化编辑,这种事我遇到过太多次。改不动从来不是最烦的,一改就不像本人才是。

Latent-Identity Tuning 这个思路挺对我胃口。它不动模型、不加训练,冻结的编码器原样拿来用,只是把身份在潜空间里的表示拆开来看:这块潜空间被当成一组 latent token,每个 token 各管身份的一个侧面,有些甚至能对上具体的空间区域或语义区域。

改的时候分两步走:先找到有意义的语义方向,再把挪动限定在某几个 token 撑起的子空间里。为什么这样就能局部化?因为改动只落在负责那部分的 token 上,别的 token 没被碰到,所以改鼻子不会牵连眼睛。

我最看重的是省事。不用为每个新身份、每个新编辑任务再跑一轮微调,把它当成生成前的一步潜空间操作插进流程里就行。

还有一点容易被忽略:它改的是身份表示本身,而不是出图之后再去P,所以多张图之间的一致性是天然带出来的。图像级编辑得一张张单独修,修着修着几张图就各像各的了,这点上它靠谱得多。

顶

问一句,token 和面部区域的对应是靠人工标出来的还是自动找的

1 个赞

冻结编码器的话,换个底模是不是语义方向又得重新找

mark

感觉后面头像、虚拟形象那类产品会先吃到这个红利

局部编辑听着美好,实际用起来大概率还是有耦合,眉毛动了眼窝跟着变那种