把FLUX塞进1GB以内,Bonsai这个量化值不值

看到PrismML把FLUX.2 Klein 4B做了极限量化,1bit能压到0.93GB,三值版本1.21GB,Apache 2.0协议。号称第一个能在手机上跑的4B级图像模型。我关心的是数字背后的取舍:原版FP16的transformer要7.

75GB、大概13GB显存,4070能跑手机没戏;量化完体积砍到六分之一。质量上它自己也承认,继承了Klein蒸馏版的天花板,1bit肉眼能看出下降。

所以我的判断是——桌面有独显就上三值版,九成质量六分之一体积,性价比最高;1bit只有在手机或者2GB以下的设备上才有意义。这是便携性的胜利,不是画质突破,别指望它比原版更好看。

三值95%质量这个数据挺能打

1bit放手机跑,猎奇大于实用吧

便携性胜利这个定位很准

蒸馏天花板压着,量化再狠也顶不上去

0.93GB是真的离谱,居然还能出图

4070跑得动就没必要碰1bit

收藏了