"10B 小参数碾压百亿级文生图"这种说法,我第一反应是先打个问号。参数量小反而效果更好,要么是数据和训练策略确实有突破,要么就是挑了对自己有利的对比维度。
文生图这两年拼的早就不只是堆参数,蒸馏、架构改进、数据清洗任何一环做扎实都能换来实打实的提升。从架构角度我更关心它省下来的算力是怎么来的、推理成本到底降没降,这些比一句"碾压"有意义得多。
等实测和权重放出来再看,现在光凭一个宣传标题不好下结论。
"10B 小参数碾压百亿级文生图"这种说法,我第一反应是先打个问号。参数量小反而效果更好,要么是数据和训练策略确实有突破,要么就是挑了对自己有利的对比维度。
文生图这两年拼的早就不只是堆参数,蒸馏、架构改进、数据清洗任何一环做扎实都能换来实打实的提升。从架构角度我更关心它省下来的算力是怎么来的、推理成本到底降没降,这些比一句"碾压"有意义得多。
等实测和权重放出来再看,现在光凭一个宣传标题不好下结论。
"碾压"这词一出现我就默认自动打个五折
关键看推理成本和权重放不放,不放就是 PPT
参数小效果好确实是趋势,蒸馏这两年是真香
蹲实测
又一个纸面碾压? ![]()
不放权重、不给推理成本,碾压就是纸面数据,这词我默认自动打五折