我的判断是:生图架构这一轮在往流匹配走,而且一个模型同时吃文本和图像输入的设计已经开始冒出来了。流匹配这类路线正在替代一些传统做法。
站在做底层的角度,说两点为什么值得关注。
一是流匹配本身。 多步去噪是一步一步把噪声往回推,路径绕;流匹配的训练目标更直,采样路径更短。路径短,步数就有压的余地,加速手段也更好往上套,部署和加速的工程空间明显比以前大。
二是统一入口。 以前编辑一套分支、参考图一套分支、条件控制再一套,各搭各的,维护起来很碎。文本和图像走进同一个入口之后,这几样不用再分开搭,架构能收敛不少。我觉得真正有意思的是这一点,比单纯快几步更有意义。
当然收敛不是白来的。入口一合并,显存怎么占、批处理怎么调度都会跟着变,原来那套成本估算基本得推倒重来,落地时这笔账得重新算。
我手上还缺的一块,是两种模态具体怎么对齐之后一起喂进去的,这块挺想找时间扒一下。