12G到底够不够微调？不少人是跑起来OOM了才知道答案，我自己也栽过不止一次。
其实这事能算清楚，不是玄学。全参数微调得同时装下模型权重、梯度、优化器状态和激活值，加起来往往是参数量的好几倍，消费级卡基本别想。
LoRA省在哪：主干冻住，只训练低秩那一小块，显存能压到全参的零头。现在大家默认先上LoRA，就是这个原因。
所以真打算上全参，先按自己的精度和batch估一遍再开跑。手上有精确公式的，欢迎贴出来对一对。
OOM的血泪谁懂 
1 个赞
LoRA真香，消费级卡的救星
全参的优化器状态才是显存大头，很多人忽略
我现在先用小batch试跑一轮看峰值，比纯算靠谱