用户搜“适合出租屋的小冰箱”这种长句，传统召回接得住吗？多半抓瞎。语义理解终于能补上关键词匹配的窟窿，这是大模型进搜推让我兴奋的地方。
我在电商搜推干过几年，从特征工程加GBDT那套，到双塔、序列模型，一路换过来。这次大模型直接进场，兴奋之外也有点犯怵，怵的是成本和延迟：搜推是毫秒级高并发的活儿，模型再强也不敢每个query都实时跑一遍。现实的做法多半是离线蒸馏加缓存，只在长尾和复杂意图上让它兜底。
所以京东这种量级敢往上推，最值得看的是工程侧怎么取舍，模型本身反倒不是难点。
蒸馏完效果掉多少才是关键,我们之前掉得挺狠
成本压不下去，模型再强也没法全量上
坐等实测
1 个赞
双塔那套我们也还在用，大模型想全量上线，成本这关基本迈不过去