等的就是这个。Hy-MT2 从五月开源到现在下载七十多万次,1.8B 那个上过 Hugging Face 趋势榜第一,30B-A3B 排第四,已经有七十多个产品把它集成进去了。但对个人玩家来说一直卡在部署这关——不是谁都愿意为了试一个模型先装一整套推理框架、再跟依赖冲突耗一晚上。
这回 30B-A3B 直接给了 GGUF 格式,本地推理门槛一下就下来了,另外还适配了 Apple 的 MLX-LM 和 NVIDIA NeMo,Mac 上跑和显卡上跑各走各的路。
A3B 这种激活量不大的结构本来就适合塞本地,内存扛得住的话体感不会太难受。