前两年帮人微调模型,光是环境和批大小就能耗掉一整天。现在这套流程被压成了一个 YAML 加一条命令:选模板初始化、开训、练完直接对话验证,中间不用 SSH 进机器折腾。显存门槛也下来了,7B 在 8G 显存上能跑,14B 大概要 16G,70B 就得上正经的卡——都是量化加低秩微调换来的,效果跟全参数不能划等号,垂直场景够用。
模板这块 chat、code、工具调用、视觉、RLHF 基本都有现成的,练完导出 GGUF 塞进本地推理,或者传到 huggingface.
co 上留个版本。我的建议是先想清楚要它学什么:一千条精挑的数据往往比一万条凑数的强,卡再好也救不了脏数据。