有个把扩散模型压到三值(1.58bit)的项目，走 mlx 框架专门给苹果芯片本地推理用。思路就是把权重压到极限，换本地能跑、不占那么多内存。
对我这种想在 Mac 上离线折腾的人来说挺有吸引力，不用老连云端。当然 2bit 这个量化力度，画质掉多少心里真没底，细节和色彩过渡大概率要肉眼可见地缩水。
但 on-device 这个方向本身值得看，能先跑起来再谈好不好看。手头有 M 系列的想试试它到底吃多少内存。
1 个赞
2bit 画质估计挺惨，但能本地离线跑这点就够玩一阵了
M 系列内存本来就吃紧，压到这么小才有点搞头
蹲一个实测内存占用
苹果芯片这两年跑扩散越来越能打了，方向是对的
三值权重…这压缩力度是真的狠 