星辰新一代开源了，29B总参数，实际激活4B，官方明确说能本地部署。
29B激活4B这个配比看着就是MoE的路子，稀疏度七倍出头。思路不难理解：知识尽量往总参里塞，算力省在激活上，单次前向只走其中一部分专家，吞吐才能上去。
但“能本地部署”这句得拆开看。等权重到手，我准备按这几步验：
- 先看权重按什么精度存。 卡个人机器的从来是显存放不放得下这份权重，不是算得快不快。激活只有4B，省下来的是每一步的计算量，加载的时候该占的位置一点不少。这一关过不去，后面都免谈。
- 再看放出来的量化版本做到哪一档。 量化到什么位宽、哪些层保持原精度、有没有给显存不够的机器留分层加载的配置，这些直接决定单卡塞不塞得进去、塞进去之后掉多少质量。
- 然后跑一遍激活分布，看路由策略调得怎么样。 MoE最容易翻车的地方就是专家利用率不均：中文长文本和代码这两类输入，分布差得很远，很容易出现一部分专家被反复命中、另一部分几乎全程闲着。闲着的专家照样占显存，账面上那个稀疏度也就跟着打折。
配置文件里的路由超参，和实际跑出来的激活直方图能对上，这版才算调得可以。
