文生图模型怎么“忘掉”某个概念,这个 AutoAnchor 的思路挺有意思

下午读 AutoAnchor 这篇,边读边记几笔。

问题:Stable Diffusion 做概念擦除一直不稳。现有两条路,一是手动挑个替代概念当锚点,太主观,容易擦偏;二是直接用空提示词,潜空间没约束,擦不牢。

作者的解释从流形假设出发:缺一个贴近流形的锚点,就会在法向空间产生漂移,效果就坏了。

办法:自动合成锚点,再拿一个 cross-attention 一致性损失当流形邻近度的廉价替身,绕开直接做几何优化那笔天价开销。这步我觉得是全篇最实用的。

读完回头想跟咱们的关系。平时大家聊的都是怎么把图画好,可版权角色、特定人脸、有害内容,都是靠这类 unlearning 从模型里抹掉的。擦得干净又不误伤别的画风,平台才敢把模型放出来。所以哪天某个底模死活画不出某个角色,多半就是这东西在干活。

这块确实容易被忽略,但真上线的模型都得做,不然版权投诉能把你埋了

cross-attention 当代理这个巧,直接优化流形谁跑得起 :thinking:

挺有收获

那社区自己炼的LoRA能把擦掉的概念补回来吗

空提示词那套我一直觉得不靠谱,果然不稳

这条算是解释了不少玄学,有些词换几种写法都出不来,原来是被主动擦过