手上有个项目要在一个多模态大模型上做领域微调，结果测下来发现原本好好的通用能力掉了一大截，问它个日常问题都答得磕磕绊绊，专门任务倒是提上去了。
查资料才知道这叫灾难性遗忘，微调把新任务喂进去的同时也把老本事挤没了。马毅那边最近正好在讲这个现象，说微调多模态模型时性能损失比想象里严重。
我的临时办法是留一小部分原始通用数据混进微调集里当锚点，掉得没那么狠，但也没根治。谁有更靠谱的正则或者冻结策略，求带。
同问，微调完常识题直接崩，头疼
蹲
1 个赞
LoRA只动低秩那部分理论上遗忘会轻一点，你试过没
试过，好一些但领域效果也打折，鱼和熊掌
马毅的东西一贯犀利，这个方向确实被低估了
顶 
LoRA配合少量通用数据回灌，灾难性遗忘能压住不少，可以混着练试试