国产TPU算力开始往开源平台里接了

中昊芯英的TPU算力完成了跟OpenCSG的CSGHub平台适配,代码也合进主仓了。这事的意义不只是又多一款芯片,而是国产专用算力头一次比较完整地接进了开源基础设施,从模型上传部署到微调推理能在平台上统一调度。

以前算力生态太散,各玩各的,用户光是底层适配和集群管理就得耗掉一堆精力。现在CSGHub那边要上TPU租赁规格,单卡128GB一直到八卡1024GB分八档,按需选就行,不用自己攒集群。

算力这两年从GPU一家独大往TPU、NPU多元协同走是明显趋势,TPU能耗比是长板,生态兼容一直是短板,能合进主仓这一步补的正是短板。

国产TPU能进开源平台调度确实算一步,之前生态太散各玩各的

1 个赞

从单卡128到八卡1024分八档,租着用比自己攒集群省心

TPU这条线能耗比是优势,可生态兼容一直拉胯,能合进主仓算进展

码住

多元算力协同喊了挺久,落到真能调度这步才算数

最烦的是缺一个算子整条流水线都得改,能合进主仓至少不用自己维护补丁