刚刷到讯飞放出来的星火Token Factory，定位挺明确，就是给企业做AI模型的智能路由和治理，算是搭了一层底座。我的理解是它不绑死单一模型，而是在中间做调度分发，哪个模型合适就往哪走，顺带把调用治理、权限这些管起来。
对我们这种一堆业务线同时接不同模型的场景，最头疼的其实就是没人统一管，成本和调用散得到处都是。
有做过类似中间层的兄弟没，想问问这种路由层落到生产里坑多不多，尤其是延迟和 failover 那块怎么兜。
蹲一个实测
刚刷到讯飞放出来的星火Token Factory，定位挺明确，就是给企业做AI模型的智能路由和治理，算是搭了一层底座。我的理解是它不绑死单一模型，而是在中间做调度分发，哪个模型合适就往哪走，顺带把调用治理、权限这些管起来。
对我们这种一堆业务线同时接不同模型的场景，最头疼的其实就是没人统一管，成本和调用散得到处都是。
有做过类似中间层的兄弟没，想问问这种路由层落到生产里坑多不多，尤其是延迟和 failover 那块怎么兜。
蹲一个实测