AI 知识库首页

Reranker 原理与实践

RAG 深入与知识工程专题:用 2 个核心问题讲清原理、取舍与落地。

一句话定位

切分、索引、混合召回、重排、高级 RAG 与端到端评测。 按“数据 → 索引 → 查询 → 召回 → 重排 → 生成 → 评测”定位问题,不把 RAG 当成单一向量搜索。

核心原理与问题解析

Bi-Encoder 与 Cross-Encoder 有何区别?

Bi-Encoder 分别编码 Query 和文档,适合大规模召回;Cross-Encoder 联合编码成对文本,精度高但计算贵,通常用于 Top-K 重排。

继续想: 为何 Cross-Encoder 不能直接全库搜索?;训练难负样本怎么选?

Rerank 应放在哪里?

先由快速检索召回较大候选,再对过滤后的候选重排,最后选择能放入上下文的少量证据。过早重排成本高,过晚则浪费在无权限或重复内容上。

继续想: Top-K 和 Top-N 如何定?;如何评测重排增益?

工程落地检查

  • 文档保留来源、版本、时间和 ACL
  • 检索层与生成层分开评测
  • 从关键词+向量的简单基线开始
  • 答案必须能定位到证据片段
  • 索引迁移支持双写、双读和回滚

常见误区

  • 盲目追求更大的 Chunk 或 Top-K
  • 更换 Embedding 却不重建索引
  • 只看回答流畅度,不测召回和忠实度

对应面试题

R02 Bi-Encoder 与 Cross-Encoder 有何区别? · R11 Rerank 应放在哪里?

延伸资料

RAG 原始论文 · Self-RAG · Corrective RAG · Microsoft GraphRAG