ICML 这批 Spotlight 里,跟生图相关的几篇值得单拎出来

过了一遍 ICML 这次的 Spotlight,按看的顺序把和生图圈直接相关的几篇记下来。

视觉越狱:针对图像编辑模型,用箭头标记这类视觉提示夹带违规指令,对 Nano Banana Pro 和 GPT-Image-1.5 报出的成功率是 80.9% 和 70.1%。视觉提示这条新攻击面得当心。

对齐引导的分数匹配:不用奖励模型,直接在 score 层面改文图对齐,GenEval 计数准确率提了 35% 以上,SD1.5/SDXL/SD3 都能接。

弱扩散先验:讲的是逆问题里弱先验其实够用,观测信息足的时候表现很好。

翻完的感觉,安全和对齐这两块今年明显更热了。

箭头这种标记,审核那边估计压根没防

1 个赞

mark 论文

分数层面改对齐这个思路好,不依赖 reward 模型省事多了

计数问题终于有救了,SDXL 数数一直不准