FLUX 3 把图像视频音频塞进一个模型,但开源权重又跳票了

FLUX 3 这次最值钱的是 Self-Flow 这套训练方法,最让人不爽的是开源权重又没影。

产品面先交代:昨天发布,一个底座同时管图像、视频、音频,视频带原生同步音轨,最长20秒,目前早期访问,要排队。

Self-Flow 的路子是训练时给同一张图的不同区块喂不同强度的噪声,比较干净的区块就得负责把噪声大的区块重建出来。模型为了完成这个重建,只能去学图里各部分之间的关系,表征学习就这么直接长在 flow matching 的目标里。以前想要这种效果,通常得额外挂一个对比或者掩码的头,多一套损失、多一份调参,它把这一步省掉了,这是最漂亮的地方。

可惜公开的 checkpoint 只是 256×256 ImageNet 上的研究模型,跟 production 的 FLUX 3 不是一回事。线上那个的参数、架构、license 一个都没披露,研究模型效果再好,也推不出旗舰版的底细。

开源这块更扎眼。当年靠开源起家,这回旗舰直接锁早期访问,Dev 版只说未来几周几个月再放,日期都不给。对本地玩家来说,就是方法看得到,能下载的东西没有。

Self-Flow 那个双时间步调度确实巧,坐等有人复现

开源跳票,BFL 这波把自己基本盘得罪得不轻

1 个赞

蹲 Dev 版

视频20秒还带音轨,要是真稳就够炸了 :fire:

参数一个没给,先当 PPT 看着

那个不渲染视频、直接读内部特征去控机器人才是真活,工程上省太多了

同感,早期访问排队这套走完,等真放权重热度早凉了