记一下这两年微调流程的变化,给自己留个底。
前两年帮人调模型,光环境和批大小就能耗掉一整天。现在压成了一个 YAML 加一条命令:选模板初始化,开训,练完直接对话验证,全程不用 SSH 进机器折腾。
显存:7B 在 8G 上能跑,14B 大概 16G,70B 就得上正经的卡。这是量化加低秩微调换来的,效果跟全参数不能划等号,垂直场景够用。
模板 chat、code、工具调用、视觉、RLHF 基本都有现成的。练完导出 GGUF 塞进本地推理,或者传到 Hugging Face 上留个版本。
最后是自己的体会:先想清楚要它学什么。一千条精挑的数据往往比一万条凑数的强,数据脏了卡再好也救不回来。