🔎 RAG 深入与知识工程
文档切分策略
RAG 深入与知识工程专题:用 3 个核心问题讲清原理、取舍与落地。
一句话定位
切分、索引、混合召回、重排、高级 RAG 与端到端评测。 按“数据 → 索引 → 查询 → 召回 → 重排 → 生成 → 评测”定位问题,不把 RAG 当成单一向量搜索。
核心原理与问题解析
Chunk Size 和 Overlap 如何选?
在语义完整、检索粒度、上下文成本间权衡。先按结构切,再用代表性问题评测;Overlap 可保护边界,但过大会重复召回和浪费 Token。
继续想: 代码和表格怎样切?;父子 Chunk 有何价值?
Parent-Child Retrieval 是什么?
用较小子块做精确召回,命中后返回更完整父块给模型,在召回精度和上下文完整性间折中。父子映射和去重是关键。
继续想: 父块多大合适?;如何避免多个子块返回同一父块?
Semantic Chunking 有何优缺点?
根据语义变化或模型判断边界,比固定长度更自然;但预处理成本高、结果不稳定,且未必提高特定查询的召回。必须和简单基线比较。
继续想: 如何定义语义断点?;哪些文档不适合?
工程落地检查
- 文档保留来源、版本、时间和 ACL
- 检索层与生成层分开评测
- 从关键词+向量的简单基线开始
- 答案必须能定位到证据片段
- 索引迁移支持双写、双读和回滚
常见误区
- 盲目追求更大的 Chunk 或 Top-K
- 更换 Embedding 却不重建索引
- 只看回答流畅度,不测召回和忠实度
对应面试题
R03 Chunk Size 和 Overlap 如何选? · R04 Parent-Child Retrieval 是什么? · R05 Semantic Chunking 有何优缺点?