啃了一下新架构的设计,双流注意力这块挺有意思

想请懂底层的朋友帮我补一块:那个随时间变化的调制模块,到底是怎么作用在生成过程的不同阶段上的,我看了几遍还是没吃透。

背景说一下。最近抽空看新一代生图模型的架构,发现跟以前那套差别不小:图像和文本分成两条流各自处理,再融合到一起,这个双流注意力对图文对齐的帮助很直观,指令跟得更紧。另外采样效率也做过优化。我不是专门搞底层的,很多细节还在补,只从用的体感说,提示词确实吃得更透,听话程度高了一截。时变调制这块有真跑过的佬,麻烦展开讲讲,先谢过。

我理解文本那条流也跟着一起更新,不只是当条件喂进去

1 个赞

蹲一个底层解析,我也没吃透

求佬展开时变调制

收藏慢慢啃