只压权重的和连KV一起压的,小显存该先下哪个

Klein 9B 那两个 int8 convrot 包,一个只压权重,一个连 KV 也压,都是 ComfyUI 那边出的量化。小显存先拉哪个?怕压狠了让出去的画质正好糊在线条和小字上,宿舍网速又慢,挨个试要耗半天。跑过的说下:只压权重那版在显存不宽裕的机器上能跑完吗,还是这种配置只能上 KV 量化那版?另外挑不挑采样器?

同问

1 个赞

先下只压权重那版,跑不动再换。我当时反过来,上来就用了压得最狠的,出图一糊分不清是量化的锅还是提示词没写对,白折腾两天才退回去重测一遍。

小字细线在任何int8下都会松一点,跟你选哪版关系不大

采样器我这边倒没挑 就是首次加载慢一截 后面几张正常