混元 Hyra-1.0:15个参数做十位数加法这事更值得看

15 个可训练参数,能学会十位数加法吗?混元 Hyra-1.0 设计出来的一个 Transformer 就做到了,这比它刷的榜更让我在意。

交代下背景:Hyra-1.0 主打递归自我改进,在 NanoChat 等三项任务上超过了 Recursive 公开的结果,55 个数学开放问题里刷新了 29 个历史最好成绩,产物已经开源。进位是带状态的操作,参数压到这个量级还能学出来,说明结构本身的设计空间比我们平时调宽度、调深度要大得多。至于"自我改进"这个提法,这两年被用得太泛,站不站得住,等别人复现出来再说。

离谱

1 个赞

开放数学问题刷新记录得看是哪一类,有些搜索空间本来就友好

自我改进现在被当筐用,多数还是在固定框架里调超参而已

开源了就好办,等复现结果出来再下判断

等复现加一,这种榜单成绩在别人跑通之前都当宣传看

十位数加法这个得看怎么算的,递归展开完等效规模不小