7月31日发的这版 H3,把文本、图片、音频、视频都收进同一个输入口,理解和生成走一套,不再是每个任务挂一个特化模型。官方说近期会正式开源,协议和权重放什么形式还没见到,就先不猜。
我比较在意的是"统一"到底做到哪一层:是几个编码器拼在同一个骨干上,还是真共享表征。这两种在下游微调时手感差很远,前者你动一个模态经常会把另一个带崩。
2K 视频这个规格既然摆出来了,推理侧的显存占用和时序处理估计也改过不少。等权重和技术报告出来才好判断,眼下能确定的就是它从特化往通用挪了一步。
7月31日发的这版 H3,把文本、图片、音频、视频都收进同一个输入口,理解和生成走一套,不再是每个任务挂一个特化模型。官方说近期会正式开源,协议和权重放什么形式还没见到,就先不猜。
我比较在意的是"统一"到底做到哪一层:是几个编码器拼在同一个骨干上,还是真共享表征。这两种在下游微调时手感差很远,前者你动一个模态经常会把另一个带崩。
2K 视频这个规格既然摆出来了,推理侧的显存占用和时序处理估计也改过不少。等权重和技术报告出来才好判断,眼下能确定的就是它从特化往通用挪了一步。
说到点了