求助帖,想请教做过内容审核的朋友。
有份调查讲,现在不少 AI 生图应用都存在涉黄内容生成的漏洞,手法一点不复杂:提示词写隐晦些,暗示、拆词、绕开关键词,就有可能骗过审核。这其实戳中了内容安全的死结,纯靠关键词黑名单根本拦不住,换个说法就过去了。
对正经做产品的团队来说,这既是合规风险也是口碑风险,一个没盯住就被推上风口浪尖。我的想法是别指望模型自己自觉,生成前拦一道,出图后再过一道检测,多层叠着上。
现在有没有相对靠谱的过滤方案,还是说只能不停打补丁?
求助帖,想请教做过内容审核的朋友。
有份调查讲,现在不少 AI 生图应用都存在涉黄内容生成的漏洞,手法一点不复杂:提示词写隐晦些,暗示、拆词、绕开关键词,就有可能骗过审核。这其实戳中了内容安全的死结,纯靠关键词黑名单根本拦不住,换个说法就过去了。
对正经做产品的团队来说,这既是合规风险也是口碑风险,一个没盯住就被推上风口浪尖。我的想法是别指望模型自己自觉,生成前拦一道,出图后再过一道检测,多层叠着上。
现在有没有相对靠谱的过滤方案,还是说只能不停打补丁?
我们试过语义分类模型兜底,误杀正常人像的情况挺多
出图后加一道图像检测比拦提示词有效,但成本高。