有人把qwen3 0.6b做了int8量化扔上来，理由就俩字，好玩。0.6b本来就是小不点，再int8压一道，跑起来是真轻，估计塞进个树莓派都不带喘的。
这种东西谈精度意义不大，纯粹是折腾量化和转换流程的手感，能跑通、能出点像样的东西，那种成就感自己人才懂。我挺喜欢这类没什么功利心的分享，不夸性能不画饼，就是因为可以所以做了。
这两年大模型卷参数卷疯了，偶尔看到有人反着来玩小的，还挺解压。
0.6b塞树莓派确实能跑
反卷小模型才是清流
1 个赞
这种纯折腾的最好玩
顶 
量化练手确实有必要