“模型看懂了你的图”——这句话我每次听到都想纠正一下。
它没有视网膜，也没有视觉皮层。图进到网络里，就是一格一格的像素数值，先被切成小块，每块变成一个向量，再像处理文字那样排成一个序列往下算。整个过程里没有哪一步是在“看”。
所谓识别，本质是分类：给输入贴一个标签，并不理解标签背后是什么东西。CLIP 这点更明显，它不知道猫是什么，它只是学会了让“猫的图”和“猫这个词”在同一个空间里离得近。这是相关性，不是语义。
我是写代码转过来画画的，可能对这种拟人化的说法格外过敏。不过想通这层以后，用图生图的心态确实平和了很多：出图不对，不是它没体会到你的意思，它压根就没在跟你共情画面。它做的是一场极其陌生的数值翻译，有点像给油画做盲文版，东西搬过去了，但搬的方式跟人看画完全是两码事。
那为什么平时用着又觉得它挺“懂”？因为这套错觉刚好够用。够用的时候，你根本分不出它是理解了，还是只是离得够近。