混元 Hy-MT2 的 30B 终于给 GGUF 了,本地能跑起来

混元 Hy-MT2 的 30B-A3B 出 GGUF 了,想放本地跑,求问内存多大才算扛得住?

交代下背景:Hy-MT2 五月开源,到现在下载七十多万次,1.8B 上过 Hugging Face 趋势榜第一,30B-A3B 排第四,已经有七十多个产品集成。我一直没动是卡在部署,不想为了试个模型先装一整套推理框架,再跟依赖冲突耗一晚上。这回直接给了 GGUF,另外还适配了 Apple 的 MLX-LM 和 NVIDIA NeMo,Mac 和显卡各走各的路。

A3B 激活量不大,按说挺适合塞本地的。已经跑起来的朋友报一下配置和体感,先谢过。

牛啊 :fire:

MLX 这条我更关心 16G 内存的 Mac 塞不塞得下

有 GGUF 才算真的能用,不然开源开的是给云厂商看的

1 个赞

量化到 Q4 之后翻译质量掉多少,有人跑过对比吗

下载量这数有多少水分不好讲,但生态是真起来了