6B，内存占二十多G，个人机塞得下。小模型的意义不在于抢最强的位置，是把本地部署的门槛压下来，配置一般也能在自己机器上无限折腾，不受在线服务的限制。我还在跑，手感过几天回来补，显存不太够的要是先上手了也说说。
蹲楼主的实测手感
本地跑不受限这点我认，不过二十多G的内存占用，笔记本还是有点顶
二十多G是显存还是内存？这两个差别可大了，个人机上完全是两回事
6B，内存占二十多G，个人机塞得下。小模型的意义不在于抢最强的位置，是把本地部署的门槛压下来，配置一般也能在自己机器上无限折腾，不受在线服务的限制。我还在跑，手感过几天回来补，显存不太够的要是先上手了也说说。
蹲楼主的实测手感
本地跑不受限这点我认，不过二十多G的内存占用，笔记本还是有点顶
二十多G是显存还是内存？这两个差别可大了，个人机上完全是两回事