想靠纯技术手段把这事一劳永逸地堵死,不现实。
社交平台上流传的那些隐晦提示词,绕开审核去诱导模型出低俗违规图像,说到底就是越狱式攻击,生成模型普及那天起就有,只是换了层皮。平台的内容安全护栏和这些规避手段一直在拉锯,这边堵一个口子,那边换个说法又绕过去。
我在课上常跟学生讲,提示词工程是把双刃剑,同一套技巧能帮你把创作做好,也能拿去钻空子。所以更要紧的是用的人自己有边界意识,平台那边持续治理。这个话题该严肃对待,别当猎奇看。
想靠纯技术手段把这事一劳永逸地堵死,不现实。
社交平台上流传的那些隐晦提示词,绕开审核去诱导模型出低俗违规图像,说到底就是越狱式攻击,生成模型普及那天起就有,只是换了层皮。平台的内容安全护栏和这些规避手段一直在拉锯,这边堵一个口子,那边换个说法又绕过去。
我在课上常跟学生讲,提示词工程是把双刃剑,同一套技巧能帮你把创作做好,也能拿去钻空子。所以更要紧的是用的人自己有边界意识,平台那边持续治理。这个话题该严肃对待,别当猎奇看。
课上会讲具体案例吗,光讲原则学生其实听不进去
平台审核永远慢半拍
严肃话题 +1