重新啃 LoRA 那篇原论文,卡在讲子空间相似度的那组图上。那个度量说白了是看前 i 个向量张成的子空间,有多少被高秩矩阵前 j 个向量的子空间包住,按定义 j 不该小于 i。
可后面两张说是放大左边图的左下三角,里面 j=1、i 从 2 到 8 居然都有值,这就跟前面的约束对不上了。我怀疑是放大图把坐标轴换了个方向或者做了转置,不然读不通。
玩 LoRA 炼图的应该不少人翻过这篇,有没有人当时也在这卡过,帮我捋捋右边那两张的纵轴到底是啥。
重新啃 LoRA 那篇原论文,卡在讲子空间相似度的那组图上。那个度量说白了是看前 i 个向量张成的子空间,有多少被高秩矩阵前 j 个向量的子空间包住,按定义 j 不该小于 i。
可后面两张说是放大左边图的左下三角,里面 j=1、i 从 2 到 8 居然都有值,这就跟前面的约束对不上了。我怀疑是放大图把坐标轴换了个方向或者做了转置,不然读不通。
玩 LoRA 炼图的应该不少人翻过这篇,有没有人当时也在这卡过,帮我捋捋右边那两张的纵轴到底是啥。
那两张放大图应该是做了转置,不然 j<i 的值根本不该出现
我记得纵轴换成了另一个矩阵的秩索引,你对着 caption 再看一遍
同卡过这里,当时也是把坐标轴读反了