APUS 把 Jev 的跨平台复现开源了,全球最早那一批

这个项目值不值得跟,我打算只看一样东西:仓库里训练部分到底放出来多少。

背景是 APUS 旗下的 AI 实验室 9 月 19 日放出了针对 Jev 的独立复现,官方说法是全球最早一批开源实现。国内团队在这种刚冒头的方向上直接开源,节奏确实比前两年快不少。

宣传里写的是秒级决策,但我更在意「跨平台」落在哪一层。同一套权重换设备就能跑,和每个平台各配一套适配层,嘴上都叫跨平台,工程量差得很远。代码我还没翻,先看仓库结构,训练代码放了多少、有没有能对齐的配置文件,这些比任何描述都实在。手里有卡的趁早拉下来跑,等一窝蜂涌上去反而难看清东西。

跨平台这词被用得太泛了,很多时候就是多了个onnx导出而已

我们组年初试过类似的路线,瓶颈基本不在模型本身,而在不同端上的算子支持度,同一套权重在两块芯片上跑出来的延迟能差三四倍,所以我最想看的反而是他们部署文档写得细不细。

楼上说瓶颈在算子支持度 这个我认 但量化之后掉多少精度更没人敢往README里写

1 个赞

码住

先看有没有放训练脚本,只给推理的开源我现在基本直接跳过。

1 个赞

前面说只给推理就跳过的,有点极端吧,能跑通推理对多数人已经够用了

跨平台具体是哪几家芯片,README里列清楚没有