一直以来大家写提示词都爱先来一句你是某某领域专家,默认这样能提升输出质量。最近有个说法挺反直觉:这种专家人设反而可能助长幻觉,让模型更自信地编。
从我做测试的角度想想还真有道理——你给它戴上专家帽子,它为了扮演得像,反而更容易把不确定的东西说得斩钉截铁,该说不知道的时候不说了。
我自己回头翻了几组测试记录,确实有那种加了专家设定后废话和瞎编都变多的情况。这块我觉得值得认真做几组对照实验验证一下,别再无脑套模板了。
一直以来大家写提示词都爱先来一句你是某某领域专家,默认这样能提升输出质量。最近有个说法挺反直觉:这种专家人设反而可能助长幻觉,让模型更自信地编。
从我做测试的角度想想还真有道理——你给它戴上专家帽子,它为了扮演得像,反而更容易把不确定的东西说得斩钉截铁,该说不知道的时候不说了。
我自己回头翻了几组测试记录,确实有那种加了专家设定后废话和瞎编都变多的情况。这块我觉得值得认真做几组对照实验验证一下,别再无脑套模板了。
卧槽,我prompt开头永远是你是资深XX,这下慌了
有点道理,扮演越用力越容易一本正经胡说
求做对照实验,光一个论文结论我还不太敢信
同问,那不写专家设定改写啥
测试视角这个切入我喜欢,确实该量化验证
mark ![]()