ICML Spotlight 里三篇图像方向的:美学评估、PhotoAgent、CLEAR

今年 ICML Spotlight 里跟图像沾边的扒了一遍,挑三篇方向实在的:

  1. 美学评估里的梯度冲突。不同美学属性在共享参数训练时梯度互相抵消,导致一部分样本长期学不好。作者提了个即插即用的路由框架去缓解,困难样本上提升挺明显。
  2. PhotoAgent。把修图当成多步决策问题,用树搜索自动规划编辑动作,用户不用再一步步喂 prompt。
  3. CLEAR。做无遮罩的视频字幕去除,只用了基础扩散模型不到1%的参数量,还能零样本泛化到好几种语言。

三篇里思路最巧的我投 CLEAR。

美学评估那篇放代码了没?想拿来筛训练集

mark慢慢看

把修图当决策问题这思路挺新,就是不知道实际跑起来步数会不会爆。