求助,LoRA 原论文讲子空间相似度的那组图,我卡了一晚上没读通。
那个度量我的理解是:取前 i 个向量张成的子空间,看它有多少被高秩矩阵前 j 个向量的子空间包住。照这个定义,j 不应该小于 i。
问题出在后面两张。文中说是把左边图的左下三角放大,可放大图里 j=1、i 从 2 到 8 全都有值,跟上面的约束直接打架。我现在的猜测是放大时坐标轴换了方向,或者干脆做了转置,不然怎么都对不上。
玩 LoRA 炼图的应该不少人翻过这篇,谁当时也在这卡过,帮我捋一下右边那两张的纵轴到底指的啥。
求助,LoRA 原论文讲子空间相似度的那组图,我卡了一晚上没读通。
那个度量我的理解是:取前 i 个向量张成的子空间,看它有多少被高秩矩阵前 j 个向量的子空间包住。照这个定义,j 不应该小于 i。
问题出在后面两张。文中说是把左边图的左下三角放大,可放大图里 j=1、i 从 2 到 8 全都有值,跟上面的约束直接打架。我现在的猜测是放大时坐标轴换了方向,或者干脆做了转置,不然怎么都对不上。
玩 LoRA 炼图的应该不少人翻过这篇,谁当时也在这卡过,帮我捋一下右边那两张的纵轴到底指的啥。
那两张放大图应该是做了转置,不然 j<i 的值根本不该出现
我记得纵轴换成了另一个矩阵的秩索引,你对着 caption 再看一遍
同卡过这里,当时也是把坐标轴读反了
我当时翻到附录对照原图才敢确认是转置,正文那段写得太省