刚看到面壁智能发布了MiniCPM5-2B,主打端侧,能在本地跑智能体还能处理长文本。对我这种做独立项目的挺有吸引力的,端侧模型的好处是不用一直挂着云端接口,数据也能留在本地,成本这块心里踏实很多。
以前小参数模型要么上下文短、要么一沾长文档就掉链子,如果这个真能在设备上稳定处理长文本并驱动一个能干活的本地agent,那能覆盖的场景一下就多了,笔记整理、本地文档问答这类都能想想。
具体端侧跑起来占多少资源、实际长文本表现怎样,我还得自己拉下来测一测才敢下结论,先记一笔。
刚看到面壁智能发布了MiniCPM5-2B,主打端侧,能在本地跑智能体还能处理长文本。对我这种做独立项目的挺有吸引力的,端侧模型的好处是不用一直挂着云端接口,数据也能留在本地,成本这块心里踏实很多。
以前小参数模型要么上下文短、要么一沾长文档就掉链子,如果这个真能在设备上稳定处理长文本并驱动一个能干活的本地agent,那能覆盖的场景一下就多了,笔记整理、本地文档问答这类都能想想。
具体端侧跑起来占多少资源、实际长文本表现怎样,我还得自己拉下来测一测才敢下结论,先记一笔。
端侧能跑agent这点是真香,本地数据不出门
小模型处理长文本一直是老大难,能不能稳还得看实测