LTX的Lora,纯图和纯视频我都练出来了,能不能图和视频混一个数据集

手头两个 LTX 的 Lora 是分开练的,一个只喂静态图,一个只喂视频片段。各自都能用:纯图那个出单帧质感更稳,纯视频那个动态连贯性明显更好。毛病也是对称的——图版本一动起来就飘,视频版本单抽一帧看又糊。

现在想把两批素材塞进同一个数据集一起练,指望它取长补短。卡住我的是两种模态的帧数和时序标注根本对不上,混着训会不会互相打架,最后两头不讨好。打标要不要区别对待,图和视频配多少比例才稳,我心里也没底。有真混过的吗,给点经验,不想盲跑几天把电费打水漂。

混过一次,图当单帧视频处理,比例大概三成图七成视频,动态没崩,但单帧锐度掉了点

1 个赞