华中科技大学和阿里通义合作的这个方向,有没有懂行的帮我捋一下,我怕自己理解偏了。
我读下来的大意是:让生图模型学会“聪明”地分配算力,不再每一步、每个区域都满负荷去算,而是靠一个类似路由的机制,把重算力分给真正需要精细处理的部分,简单区域少花点。相当于把专家混合那套调度思想搬到生图上。
这个角度我觉得比拼参数大小有意思。现在生图模型的瓶颈越来越多卡在推理成本,不是画质天花板,同样出图质量下谁能把单张成本压下来,谁落地就占优,跑量的场景尤其明显。具体加速多少我没找到确切数字,就不瞎编了。
想请教的是:按区域分配算力的话,一张图里细节多和细节少的地方挨在一起,交界处会不会出现质量不一致?