FLUX 3 把图像视频音频和动作塞进了同一个架构

一个模型同时学图像、视频、音频,还要预测动作,图的是什么?

Black Forest Labs 这次推的 FLUX 3 就是这么干的,四样东西放在一个统一架构里联合训练,官方还顺带提了一句,这模型可以扩展去预测机器人动作。我的理解是他们把「下一步会发生什么」当成一个通用问题在解,不分模态。

前面几代我基本当纯图像模型在用,线稿上色和材质控制是它最顺手的地方。站在画原画的角度,我更在意的是:动作先验要是真进了同一套权重,出角色动态姿势时那种关节别扭、重心站不住的老毛病,也许能缓解不少。那毛病说到底就是模型不懂物理。

可惜视频那部分还是早期访问,得填表申请,实际效果暂时看不着。