延迟从1.2秒降到0.4秒,** 30个候选减少到20个。
30对一起过,。
召回率约0.75,** 单次推理改成batch推理,召回率比flat检索下降不到1%。
faiss本地索引每天凌晨从ES同步一次, 。
查询延迟约100ms,ef_construction=100是平衡召回率和索引速度的参数, *踩坑提醒**:script_score方式会对全库做cosine计算,数据量大了之后单次查询可能超过30秒,m=16,能用。
实测这个配置下索引速度约800条/秒。
rerank延迟降到0.25秒。
**方案一:批处理。
