H3 本地跑通,ref2va 的一致性问题一次过基本解决了

记一下这几天在 ComfyUI 上跑 MiniMax H-3 的情况,主要一直在压 ref2va。

环境:单卡 RTX6000 PRO 96G,采样统一 20 步,方便横着比。

  • 2 秒 1344x768:三分钟出头
  • 5 秒 1696x736:也差不多这个量级
  • 10 秒 1696x736:九分钟
  • 15 秒 1344x768:十二分四十五
  • 三张参考图做 reference to video,15 秒 864x480:三分钟左右
  • 同样 15 秒 864x480,参考里再塞一段 15 秒视频:八分十四

最后两行放一起看就很直观了,真正拖时间的是视频参考,一加进去耗时差不多涨到五倍。视频参考要不要上,得先想清楚这条镜头是不是真需要。

效果这块比我预期好太多。图片、视频、音频参考混着喂,一次生成下来一致性和连贯性都在线,之前那种角色跑着跑着就变脸的老毛病基本没再出现。这也是我愿意忍着五倍耗时继续试的原因。

这批实验还没整理完,等弄完单独写一篇细的。

慕了 :sob:

1 个赞

等个教程

96G 的数据对我这种 24G 卡没啥参考价值,还是蹲量化版本吧

加视频参考直接翻五倍,这代价换来的连贯性值不值还得看具体活

ref2va 里的音频参考到底是控口型还是控节奏,这块一直没搞明白

写教程的时候顺带讲讲多个参考之间怎么排优先级,冲突了听谁的

我的体感是音频主要管节奏,口型那块还得靠画面参考顶着

跟你结论一致,我塞了一段人声进去,口型基本没动,节奏倒是跟上了