混元 Hyra-1.0:15个参数做十位数加法这事更值得看

腾讯混元的 Hyra-1.0 主打递归自我改进,在 NanoChat 等三项任务上超过了 Recursive 公开的结果,另外在 55 个数学开放问题里刷新了 29 个历史最好成绩,产物已经开源。

真正让我停下来多看两眼的不是刷榜那部分,是它设计出来的那个只有 15 个可训练参数、却能完成十位数加法的 Transformer。参数压到这个量级还能把进位这种带状态的操作学出来,说明结构本身的设计空间比我们平时调宽度深度要大得多。

自我改进这个提法这两年被用得太泛,站不站得住还得看别人复现出来是什么样。

15个可训练参数做十位数加法这个才是有意思的地方,说明架构那头还有得挖

离谱

1 个赞

开放数学问题刷新记录得看是哪一类,有些搜索空间本来就友好

自我改进现在被当筐用,多数还是在固定框架里调超参而已

开源了就好办,等复现结果出来再下判断

等复现加一,这种榜单成绩在别人跑通之前都当宣传看

十位数加法这个得看怎么算的,递归展开完等效规模不小