换几个近义词就能骗过去的东西，也好意思叫审核。
很多AI应用的内容过滤其实只停在提示词层面做关键词匹配，话说得隐晦一点、换几个近义词，模型照画不误。最近曝出好几款应用能被绕过去生成违规内容，我觉得根子不在模型，是审核那一层做的太糙。
做过后端的都知道，纯靠敏感词表拦请求早就不够看了。稳一点的做法是两头卡：输入侧照拦，输出侧再上一道图像识别复检，生成出来的图再过一遍。文字能绕，画面绕不过去。
可惜这一步费算力、加延迟，为了省这点，很多产品直接砍了。这种漏洞一旦被大规模利用，最后挨监管的还是平台自己。
