电商搜推这块我做过几年，最早都是特征工程加GBDT那套，后来上双塔、上序列模型，现在大模型直接进来做搜推，说实话既兴奋又有点犯怵。兴奋在语义理解终于能补上关键词匹配的窟窿，用户搜“适合出租屋的小冰箱”这种长句，传统召回经常抓瞎；犯怵在成本和延迟，搜推是毫秒级高并发的活儿，模型再强你也不敢每个query都实时跑一遍，多半得靠离线蒸馏、缓存，只在长尾和复杂意图上兜底。
京东这种量级敢往上推，工程侧的取舍才是最值得看的地方，模型本身反倒不是难点。
工程侧取舍才是真本事，这话在理
毫秒级还要上大模型，蒸馏和缓存是必选项
长句语义搜索传统召回是真抓瞎，深有体会
成本压不下去，模型再强也没法全量上
坐等实测
1 个赞
双塔那套我们也还在用，大模型想全量上线，成本这关基本迈不过去