华中科技大学和通义搞了套让生图模型更省算力的路由机制

看到华中科技大学和阿里通义合作的一个方向,思路是让图像生成模型学会"聪明"分配算力——不是每一步、每个区域都用满负荷去算,而是靠一个类似路由的机制,把重头的算力分给真正需要精细处理的部分,简单区域少花点。本质上是把专家混合那套调度思想往生图上搬。
这个角度我觉得比单纯比谁参数大有意思。现在生图模型的瓶颈越来越多是推理成本,不是画质天花板。谁能在同样出图质量下把单张成本压下来,谁在落地上就更有优势,尤其是要跑量的场景。具体的加速幅度我没看到确切数字,就不瞎编了,但这个"按需分配算力"的路子,方向上是对的。

推理成本才是真痛点,跑批量的人最有体会。

1 个赞

MoE往生图上搬这个思路挺自然的,就看实际收益。

同样画质压成本,这才是能落地赚钱的方向。

跑批量的最懂推理成本,这方向能落地是真省钱