32B 的权重按 BF16 算,每参数两字节,光权重就 64GB,跟这台机器的统一内存一个数——系统、ComfyUI、文本编码器、VAE、推理时的激活值全都没地方放,能不能跑在计算器阶段就结束了。
统一内存我量了一下,68719476736 字节,正好 64.0GB,没虚标;GPU 可用上限还是默认值没动过,就算按常见建议拉到 57344MB,差的也不止那一点。
顺手把盘里的 FLUX 权重翻了一遍,全是 FLUX.1 的 Q6_K,九点八个 G,跟 12B 按 0.75 字节每参数算出来的九个 G 对得上——明明 BF16 的二十四个 G 也塞得下,还是选了量化版,图的是给别的常驻进程留余量。
别被名字带偏,两代差着两倍多的参数量,ComfyUI 里带了节点和模板,也不等于你机器上真有那个模型。