调提示词之前,先把文生图原理过一遍

前段时间回头把文生图那套机制捋了一遍,顺手记几笔。

大意是模型学会了把文字描述映射到图像的高维空间,然后从一团噪声开始一步步还原成图。就这一层理解,帮我拆掉了好几个以前当玄学的问题:某些词的权重为啥能左右画面,负面提示词为啥有用,同样几个词换个顺序结果为啥就变了。

天天调提示词的人,真去碰这块的其实不多。我现在的看法是底层过一遍比背一百个所谓万能咒有用,起码知道自己在跟什么打交道,调参也从蒙变成推。以后谁再找我聊提示词玄学,我还是那句,先去看看模型到底怎么工作的。

原理我啃到采样器那节就卡住了,有推荐的入门材料吗

收藏了慢慢啃

1 个赞