混元 Hy-MT2 的 30B 终于给 GGUF 了,本地能跑起来

等的就是这个。Hy-MT2 从五月开源到现在下载七十多万次,1.8B 那个上过 Hugging Face 趋势榜第一,30B-A3B 排第四,已经有七十多个产品把它集成进去了。但对个人玩家来说一直卡在部署这关——不是谁都愿意为了试一个模型先装一整套推理框架、再跟依赖冲突耗一晚上。

这回 30B-A3B 直接给了 GGUF 格式,本地推理门槛一下就下来了,另外还适配了 Apple 的 MLX-LM 和 NVIDIA NeMo,Mac 上跑和显卡上跑各走各的路。

A3B 这种激活量不大的结构本来就适合塞本地,内存扛得住的话体感不会太难受。

牛啊 :fire:

Mac 这边等 MLX 适配等太久了,这次总算跟上节奏

有 GGUF 才算真的能用,不然开源开的是给云厂商看的

1 个赞

量化到 Q4 之后翻译质量掉多少,有人跑过对比吗

下载量这数有多少水分不好讲,但生态是真起来了

有 GGUF 才算真的落地,之前只能干看着