有人把 Kreamania v4 转成 GGUF 了,原模型是 Adel_AI 做的,功劳都是人家的,转换的这版就是方便量化加载。要跑的话得先装 GGUF loader 的节点,不然识别不了。
GGUF 这套的好处就是能按量化档位压显存,低配机器也有机会把原本吃不动的底模跑起来,代价是精度会掉一点点,具体掉多少看你选哪个量化等级。
手头显存紧张又想试 Kreamania 的可以直接上这版,省得为了一个底模去升级卡。
有人把 Kreamania v4 转成 GGUF 了,原模型是 Adel_AI 做的,功劳都是人家的,转换的这版就是方便量化加载。要跑的话得先装 GGUF loader 的节点,不然识别不了。
GGUF 这套的好处就是能按量化档位压显存,低配机器也有机会把原本吃不动的底模跑起来,代价是精度会掉一点点,具体掉多少看你选哪个量化等级。
手头显存紧张又想试 Kreamania 的可以直接上这版,省得为了一个底模去升级卡。
GGUF 救低配狗的命
loader 节点别忘了装,我一开始就卡这
量化掉多少精度有人对比过没
mark