H3 能在 3060 上跑起来,关键那步是 8bit

先把这组数记下来,省得回头翻。8bit 权重,RTX 3060 配 32GB 内存和一块 NVMe SSD,出 832×480、124 帧,用时不到十分钟。124 帧按 24fps 折算差不多五秒。

照着这个配机器之前,有三样还没公开:采样步数、CFG 蒸馏、显存卸载方案,缺一样就复现不了。发布方自己也强调模型还没到最优化状态,后面要是吃得上 Sage Attention,时间还能再降。所以这组数字是不是未优化的原始表现,现在没法确认。

我原本是不抱希望的,消费级卡跑这一档视频模型,默认环境一直是数据中心卡。一个吃文本、图像、视频、音频输入、还能生成原生声音的开放权重模型开始往 3060 上落,门槛这件事比数字本身重要。SSD 那一环别省,卸载扛不住的时候全靠它顶。权重很快就放,到时候 github.com 上的量化和节点应该跟得很快。

3060 是 12G 还是 8G?这差别可太大了

码住

1 个赞

卸载到 SSD 有点心疼盘 我上次连跑几天写入量肉眼可见地涨 后来专门拿一块旧盘当缓存盘 坏了也认了

十分钟出五秒,要是出片率低,一晚上也未必攒得出一条能用的

Sage Attention我在别的模型上开过 提速挺明显 就是有的节点会不认

12G 和 8G 差一档,8G 那版我这边连加载都过不去