方向上我认可大一统这条路,DreamOmni走的就是这个思路。
贾佳亚团队这个框架,想把文生图和各类编辑任务都收进一套统一框架里,训练收敛也比较快。对我胃口的原因很简单:以前生成一个模型、抠图一个、重绘一个、风格迁移再一个,工具链拼得稀碎,每多一个组件就多一份维护和调度。统一接口,对偏工程化、想少养几个组件的人来说就是省心。
不过别指望它样样第一。通用统一往往得在单项的极致性能上让步,落到某个专精任务上,未必打得过垂直模型,用之前还是按自己的场景掂量。
方向上我认可大一统这条路,DreamOmni走的就是这个思路。
贾佳亚团队这个框架,想把文生图和各类编辑任务都收进一套统一框架里,训练收敛也比较快。对我胃口的原因很简单:以前生成一个模型、抠图一个、重绘一个、风格迁移再一个,工具链拼得稀碎,每多一个组件就多一份维护和调度。统一接口,对偏工程化、想少养几个组件的人来说就是省心。
不过别指望它样样第一。通用统一往往得在单项的极致性能上让步,落到某个专精任务上,未必打得过垂直模型,用之前还是按自己的场景掂量。
碎也有碎的好,单个组件坏了好换,统一了一出问题全得等
收敛快是论文里的说法,自己复现能不能一样快另说