想请懂底层的朋友帮我补一块:那个随时间变化的调制模块,到底是怎么作用在生成过程的不同阶段上的,我看了几遍还是没吃透。
背景说一下。最近抽空看新一代生图模型的架构,发现跟以前那套差别不小:图像和文本分成两条流各自处理,再融合到一起,这个双流注意力对图文对齐的帮助很直观,指令跟得更紧。另外采样效率也做过优化。我不是专门搞底层的,很多细节还在补,只从用的体感说,提示词确实吃得更透,听话程度高了一截。时变调制这块有真跑过的佬,麻烦展开讲讲,先谢过。
想请懂底层的朋友帮我补一块:那个随时间变化的调制模块,到底是怎么作用在生成过程的不同阶段上的,我看了几遍还是没吃透。
背景说一下。最近抽空看新一代生图模型的架构,发现跟以前那套差别不小:图像和文本分成两条流各自处理,再融合到一起,这个双流注意力对图文对齐的帮助很直观,指令跟得更紧。另外采样效率也做过优化。我不是专门搞底层的,很多细节还在补,只从用的体感说,提示词确实吃得更透,听话程度高了一截。时变调制这块有真跑过的佬,麻烦展开讲讲,先谢过。
我理解文本那条流也跟着一起更新,不只是当条件喂进去
蹲一个底层解析,我也没吃透
求佬展开时变调制
收藏慢慢啃