这套是拿GRPO强化学习训Gemma-3做结构化数学推理，数据用的GSM8K那批数学题，框架是JAX加LoRA适配器，单卡就能跑。按顺序写一下：
-
冻住底模，只训LoRA。 要更新的只有适配器那一点权重，显存压力小很多，单卡能跑完靠的就是这个。整套也因此很轻量。
-
奖励函数拆成两块。 一块管格式：推理过程放进 reasoning 标签，最终数字答案放进 answer 标签，放规范了才给分。另一块管对错，直接对答案正确性打分。分开的原因很简单，只奖励正确性，输出格式乱了也照拿分，后面没法稳定解析；只奖励格式，又可能写得工工整整但答案是错的。两个信号一起给，模型才会两头都顾。
-
留一个数字提取的兜底。 有时候答案算对了却没老实写进 answer 标签，兜底逻辑会从输出里把数字抠出来再判对错，免得对的答案因为格式被判零分。
-
训之前先测基线。 GRPO之前跑一遍，记下准确率和格式服从度；训完用同样两项再测。两组数一对，训练有没有效果一眼就清楚，不用凭感觉。
整个工作流挺紧凑，环节不多。小显存又想试强化学习后训练的，从这套入手负担不大。
