Kakao 这回一次放出四个轻量级语言模型，明确说是给智能手机这类设备优化的。这个方向现在挤得厉害，但国内讨论反而不多。端上跑模型难的从来不是参数量本身，是内存峰值、首字延迟和发热降频这三样，台式机上测着漂亮、装进真机掉一半的情况我见得太多了。
四个尺寸一起放出来算是个不错的信号，说明他们至少照顾了不同档位的机型，而不是只做一个 demo 尺寸。
我打算等权重和许可协议都看清楚再动手，眼下就关心两件事：中文和多语言的真实表现，以及常见的量化方案能不能直接上。
Kakao 这回一次放出四个轻量级语言模型，明确说是给智能手机这类设备优化的。这个方向现在挤得厉害，但国内讨论反而不多。端上跑模型难的从来不是参数量本身，是内存峰值、首字延迟和发热降频这三样，台式机上测着漂亮、装进真机掉一半的情况我见得太多了。
四个尺寸一起放出来算是个不错的信号，说明他们至少照顾了不同档位的机型，而不是只做一个 demo 尺寸。
我打算等权重和许可协议都看清楚再动手，眼下就关心两件事：中文和多语言的真实表现，以及常见的量化方案能不能直接上。