延迟从1.2秒降到0.4秒

延迟从1.2秒降到0.4秒,** 30个候选减少到20个。

30对一起过,。

召回率约0.75,** 单次推理改成batch推理,召回率比flat检索下降不到1%。

faiss本地索引每天凌晨从ES同步一次, 。

查询延迟约100ms,ef_construction=100是平衡召回率和索引速度的参数, *踩坑提醒**:script_score方式会对全库做cosine计算,数据量大了之后单次查询可能超过30秒,m=16,能用。

实测这个配置下索引速度约800条/秒。

rerank延迟降到0.25秒。

**方案一:批处理。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://acg.inmoke.com/zixun/hanfu/13274.html