手里只有两张T4、加起来32G显存,还想动动漫底模——这种配置一般人第一反应就是别想了,参数堆不上去。duplex anima偏偏就是在这套硬件上做的。
做法是把动漫底模往MoE架构上迁:拆成两个2B的小模型,每个只负责一段降噪区间,分开训。这样单个模型要学的东西就窄了,高噪那段管大轮廓,低噪那段抠细节,小卡也扛得住。作者放出来的实时训练checkpoint也是这么分的,高噪一个、低噪一个。方法论借的是DiffusionBlocks那套block-wise训练,不算凭空发明。
眼下卡住的是风格。作者自己说自然语言prompt吃得挺好,但出来的风格总差点意思,他还在琢磨怎么修,怀疑是最近把最大prompt长度从512拉到2048给带偏了。这个猜测我觉得说得通:prompt一拉长,文本条件那头变化很大,两段模型对同一句描述的理解未必还对得齐。
我更看好的是路线本身。小卡能跑MoE分段训练,比一味堆参数有搞头;就是风格塌这类问题不好定位,长度、数据、分段边界都可能有份,只能一项项排除。