小模型调工具乱调,大模型塞不进家用卡,本地智能体一直卡这儿。Meta 开源的 30B Muse Glimmer 正好补上:24GB 显存能跑,3090/4090 单卡就够,内部日志工单不用出网。量化和长上下文吃多少显存还没细看。
围观