FLUX 3的说明我读了两遍,有一处想找懂行的对一下。
先列清楚的部分:一套权重里同时有图像、视频、音频,还带机器人动作预测。视频单次能到20秒、自带原生音频,文生视频、图生视频、关键帧过渡都有。同一个骨干还驱动了一个机器人策略,官方给的数是单张5090上跑进80毫秒。开放是分批的,视频和动作先给早期访问,图像随后,权重最后放。
卡住我的是训练资源分配:视频预测吃掉九成五以上的算力,音频token占比连0.5%都不到。我理解是音频搭着视频里的物理规律顺出来的,可占比这么小,原生音频真能撑住吗。做过多模态训练的朋友帮忙看看,我这理解偏没偏。