混元 Hy-MT2 的 30B-A3B 出 GGUF 了,想放本地跑,求问内存多大才算扛得住?
交代下背景:Hy-MT2 五月开源,到现在下载七十多万次,1.8B 上过 Hugging Face 趋势榜第一,30B-A3B 排第四,已经有七十多个产品集成。我一直没动是卡在部署,不想为了试个模型先装一整套推理框架,再跟依赖冲突耗一晚上。这回直接给了 GGUF,另外还适配了 Apple 的 MLX-LM 和 NVIDIA NeMo,Mac 和显卡各走各的路。
A3B 激活量不大,按说挺适合塞本地的。已经跑起来的朋友报一下配置和体感,先谢过。