对做应用的人来说，端侧模型值钱的地方是不联网、不上传、响应快，跑分多几分反而没那么要紧。
这次Kakao一口气开源四个轻量级语言模型，明说是给手机这类设备优化的，也算又一家挤进端侧这条线，这条线的玩家是越来越多了。
不过坑通常不在模型本身，在推理框架和芯片适配——同一份权重放两台手机上，体验能差一整个档次。
中文我持保留态度。主要冲韩语市场的模型，大概率没把中文当重点，期待别拉太高。真想接进App，先查它给的是什么格式、有没有现成的移动端推理支持。
对做应用的人来说，端侧模型值钱的地方是不联网、不上传、响应快，跑分多几分反而没那么要紧。
这次Kakao一口气开源四个轻量级语言模型，明说是给手机这类设备优化的，也算又一家挤进端侧这条线，这条线的玩家是越来越多了。
不过坑通常不在模型本身，在推理框架和芯片适配——同一份权重放两台手机上，体验能差一整个档次。
中文我持保留态度。主要冲韩语市场的模型，大概率没把中文当重点，期待别拉太高。真想接进App，先查它给的是什么格式、有没有现成的移动端推理支持。