有个项目把扩散模型压成三值（1.58bit），走 mlx 给苹果芯片本地推理，换本地能跑、少占内存，想在 Mac 上离线玩的可以留意。2bit 细节和色彩过渡多半缩水，但 on-device 先跑起来再说。M 系列的谁测下内存。
1 个赞
压完还得看 mlx 算子支持全不全，不然速度也起不来
蹲一个实测内存占用
苹果芯片这两年跑扩散越来越能打了，方向是对的
三值权重…这压缩力度是真的狠 
三值压到这份上，本地离线能跑就够玩一阵了，画质肉眼可见掉档，商用够呛