型号后面那个 A3B 才是看点：总参 23B，每次推理大约只激活 3B，走的是 MoE 路子，目的就是在端侧有限的算力里塞进更大的总容量。
背景是 9月23日的云栖大会，斑马智能发了新一代全模态端侧大模型 AutoOmni 2.0，完整型号 23B-A3B。A3B 按现在的命名习惯一般就是上面这个意思。
斑马本来就是做车机系统的，全模态上车几乎是明牌：语音、摄像头画面、屏幕内容放在一起理解。跑在什么芯片上、延迟多少，目前没看到公开数字，技术细节出来了再细聊。
1 个赞
端侧23B总参，内存怕是要吃不少，MoE只省算力不省存储
楼上说的对，MoE端侧最大的问题就是权重得全放得下，激活少只解决了计算量。车机内存现在给得比手机大方一点，可能这就是他们敢上23B的底气。
跟生图关系不大,不过端侧多模态挺好玩
牛的