腾讯混元的 Hyra-1.0 主打递归自我改进,在 NanoChat 等三项任务上超过了 Recursive 公开的结果,另外在 55 个数学开放问题里刷新了 29 个历史最好成绩,产物已经开源。
真正让我停下来多看两眼的不是刷榜那部分,是它设计出来的那个只有 15 个可训练参数、却能完成十位数加法的 Transformer。参数压到这个量级还能把进位这种带状态的操作学出来,说明结构本身的设计空间比我们平时调宽度深度要大得多。
自我改进这个提法这两年被用得太泛,站不站得住还得看别人复现出来是什么样。