Flux 3 发布,图像视频音频放一起训了套统一表征

统一表征这条路我是看好的。Flux 3 这次把图像、视频、音频放进同一套联合学习里,冲的就是一个统一的世界表征,这两年大家也确实越来越往这个方向挤。

道理不复杂:分开训三个模型、再靠适配层拼起来,中间总会漏信息。声音里的节奏和画面里的运动,本来就是同一件事的两面,拆开学等于自己给自己挖对齐的坑。

真跑通了,「给一段环境音生成匹配画面」这种活会顺很多,跨模态检索也能跟着沾光。代价大概率是单项都比不上专门模型那么极致,具体折中到哪一步,只能等拿到 Early Access 的人放东西出来。现在也只开了 Early Access,我先排着队。

单项平庸我倒不太怕,更想看音画同步到底能对多准

围观