「你是专家」这种角色设定 prompt 可能是在给模型喂幻觉

一直以来大家写提示词都爱先来一句你是某某领域专家,默认这样能提升输出质量。最近有个说法挺反直觉:这种专家人设反而可能助长幻觉,让模型更自信地编。

从我做测试的角度想想还真有道理——你给它戴上专家帽子,它为了扮演得像,反而更容易把不确定的东西说得斩钉截铁,该说不知道的时候不说了。

我自己回头翻了几组测试记录,确实有那种加了专家设定后废话和瞎编都变多的情况。这块我觉得值得认真做几组对照实验验证一下,别再无脑套模板了。

卧槽,我prompt开头永远是你是资深XX,这下慌了

有点道理,扮演越用力越容易一本正经胡说

1 个赞

求做对照实验,光一个论文结论我还不太敢信

同问,那不写专家设定改写啥

测试视角这个切入我喜欢,确实该量化验证

mark :thinking: