非对抗的扰动,比对抗攻击更值得防。
道理不复杂:真实场景里最常见的,不是谁精心构造了攻击样本,而是同一个意思换种措辞,模型输出就天差地别。业界聊鲁棒性老盯着对抗攻击,这种日常扰动反倒更难防。
ICML这批里有一篇专门啃这个。它把问题归到网络模块输出里的扰动诱导偏置上,再用轻量的去偏置微调去校正,不用全量重训,成本上友好很多。
我更在意的是另一半:它能给随机提示扰动做形式化的鲁棒性认证。以前这类方法大多停在“经验上有用”,这回往“可证明”挪了一步。做部署安全的,盯这个方向比刷对抗样本实在。
非对抗的扰动,比对抗攻击更值得防。
道理不复杂:真实场景里最常见的,不是谁精心构造了攻击样本,而是同一个意思换种措辞,模型输出就天差地别。业界聊鲁棒性老盯着对抗攻击,这种日常扰动反倒更难防。
ICML这批里有一篇专门啃这个。它把问题归到网络模块输出里的扰动诱导偏置上,再用轻量的去偏置微调去校正,不用全量重训,成本上友好很多。
我更在意的是另一半:它能给随机提示扰动做形式化的鲁棒性认证。以前这类方法大多停在“经验上有用”,这回往“可证明”挪了一步。做部署安全的,盯这个方向比刷对抗样本实在。
换个措辞就崩这事我在生产环境天天遇到
形式化认证那块不知道能扩到多大的模型