15 个可训练参数,能学会十位数加法吗?混元 Hyra-1.0 设计出来的一个 Transformer 就做到了,这比它刷的榜更让我在意。
交代下背景:Hyra-1.0 主打递归自我改进,在 NanoChat 等三项任务上超过了 Recursive 公开的结果,55 个数学开放问题里刷新了 29 个历史最好成绩,产物已经开源。进位是带状态的操作,参数压到这个量级还能学出来,说明结构本身的设计空间比我们平时调宽度、调深度要大得多。至于"自我改进"这个提法,这两年被用得太泛,站不站得住,等别人复现出来再说。