LoRA的思路一句话就能说完：原模型那一大坨权重不动，在旁边挂一对低秩矩阵，只去学增量。
这是Edward Hu他们2021年那篇《LoRA: Low-Rank Adaptation》里提出来的。之前我调rank基本靠瞎试，这回专门去把原理啃了一遍。它好使的地方很实在：要训的参数极少，显存和算力开销砍得很狠，消费级显卡就能微调，效果还能逼近全量微调。
搞清楚“它只是在学一个低秩的增量”，再回头看训练参数，rank设多少、挂在哪些层，心里就有个判断依据了，不用一组组盲跑。有系统研究过rank取值影响的，想找你深聊下。