Colossal-AI这次升级,主打AIGC和千亿大模型一行代码自动并行,说硬件预算最高能直降46倍。46倍这个数字我是保留态度的,大概率是某个特定配置下挑出来的最优对比,日常场景能到零头就谢天谢地了。
但自动并行这个方向是对的,手动切分张量、调流水线那套东西太劝退,能把这层复杂度封装掉,对我们这种没有大集群的团队意义比省钱本身还大。
等有空拉下来实测一版,看看所谓一行代码的水分有多少。
Colossal-AI这次升级,主打AIGC和千亿大模型一行代码自动并行,说硬件预算最高能直降46倍。46倍这个数字我是保留态度的,大概率是某个特定配置下挑出来的最优对比,日常场景能到零头就谢天谢地了。
但自动并行这个方向是对的,手动切分张量、调流水线那套东西太劝退,能把这层复杂度封装掉,对我们这种没有大集群的团队意义比省钱本身还大。
等有空拉下来实测一版,看看所谓一行代码的水分有多少。
最高直降46倍,重点全在最高俩字上
自动并行才是刚需,省钱是顺带的
自动并行省的是人力,手动调分布式那套配置能把人熬秃,省钱倒是顺带的