扒完今年ICML这批Spotlight,学术界重心明显从做更大转向做更省

今年 ICML 的 Spotlight 我按方向过了一遍,从落地的角度看,信号挺集中:

  1. 具身智能全押 VLA(视觉-语言-动作)模型。瞄的是机器人、自动驾驶落地时最头疼的两件事:高延迟,跨环境泛化差。
  2. 大模型不卷参数了,转去挖免训练的推理机制。比如拿隐藏层 l2 范数当推理强度的信号,好处是开箱即用,不用再训一遍。
  3. 底层系统和效率优化成了刚需,张量内存虚拟化这类工作冒出来,说白了大家都被算力卡着脖子。

三条放一起,重心就是从做更大挪到做更省、更能落地。小团队反而占便宜,免训练和降本这两条路都是省钱的路子。

免训练那条路对穷团队太友好了

VLA押这么猛,真机数据采集的成本谁来扛

1 个赞

l2范数这招,换个模型阈值估计还得重新摸

顶

免训练那条对我们这种没卡的小队伍是救命,效果差点也认 :pray: