贾佳亚团队放出下一代ControlNet,即插即用还能直接控制视频生成

ControlNet能不能直接管视频?贾佳亚团队这次端出来的新一代ControlNet就是冲这个来的,宣传里那只妖娆起舞的蜘蛛侠动图确实抓眼球。

我关心的有两点。即插即用,意味着不用大动干戈重训主模型就能挂上去用;再就是控制能力从图像延伸到了视频生成。后者一直是老大难,帧间一致性和可控性很难两全,要是姿态、结构在视频里真能稳住,对做动态内容的人是实打实的利好。

不过现在只有演示。控制维度覆盖多少、跟现有ControlNet生态怎么衔接、显存要求高不高,都得等代码和权重出来自己跑过才有底。先蹲开源。

之前拿逐帧ControlNet硬跑视频,闪得没法看

那个蜘蛛侠动图有点东西 :fire:

蹲权重

帧间一致性才是照妖镜,demo挑好的放谁都会

贾佳亚团队出手一般不含糊,先期待着

1 个赞