级联式 LoRA 多模态融合,加模态不用整体重训这点挺对胃口

想往一套系统里陆续加模态的话,级联式 LoRA 融合这条路我是认的。

原因不复杂。传统做法一开始就把所有模态塞进一个固定的融合结构,后面想加新模态,基本只能整体重训。这个框架拆开来做:每个模态先单独做 LoRA 适配,然后分阶段融合,关系近的模态先并到一起,异构、差异大的放到后面一点点接,前面学好的部分不动。

这么搞参数省了,换数据集、模态组合不一样的时候也不用推倒重来。验证用的是 NurViD 和护士培训那两个医疗动作识别数据集,比单模态强,跟之前各数据集上的专用 baseline 也基本打平。医疗培训场景模态本来就杂,参数高效地慢慢拼,比一把硬融合现实多了。

分阶段融合这点是真省事,加模态不用重训太香了

护士培训数据集这方向有点小众啊

加模态不用重训是香,就是级联下来误差会不会一层层往下叠 :thinking: