第 5 卷
第三章:RAG 检索增强、Chunk策略与重排篇
(Q51-Q75)
RAG 是大模型应用的第一核心能力。面试官会从文档解析问到向量检索再到 Reranker
Q51:RAG系统的完整Pipeline有哪些环节?每个环节的关键指标是什么?
七阶段Pipeline 与指标:
| 阶段 | 关键动作 | 核心指标 | 目标值 |
|---|---|---|---|
| 1.文档解析 | PDF/Word→Markdown | 文本还原准确率 | > 95% |
| 2.分片 | 语义切片+ Parent-Child | Chunk语义完整性 | 无截断段落 |
| 3.向量化 | BGE/Jina Embedding | 向量质量(MTEB) | Top 5模型 |
| 4.索引存储 | Milvus/PGVector + HNSW | QPS +召回率 | > 100 QPS |
| 5.检索 | Hybrid(向量+BM25) | Recall@20 | > 85% |
| 6.重排 | BGE-Reranker | Precision@5 | > 85% |
| 7.生成 | LLM + Prompt约束 | Faithfulness | > 0.85 |
Q52:Naive RAG vs Advanced RAG vs Modular RAG有什么区别?
| 代 | 特点 | 典型问题 | 准确率 |
|---|---|---|---|
| Naive RAG | 简单嵌入+向量检索+LLM生成 | 召回差、噪声多、幻觉重 | 45-55% |
| Advanced RAG | 加入Reranker、Hybrid检索、查询改写 | 大幅改善但仍有边界 | 75-85% |
| Modular RAG | 可插拔模块、路由分发、自适应检索 | 最灵活但最复杂 | 85-92% |
Q53:什么是语义切片(Semantic Chunking)?比固定大小切割好在哪?
核心区别:固定切割按字符数暴力切,一句话可能被切成两半;语义切片按“语义边界”(句号、段落、标题)
切,保证每个Chunk都是语义完整的。
| 固定大小 | 每500字切一刀 | 简单 | 截断句子 |
|---|---|---|---|
| 按段落 | 空行/换行分割 | 保留段落 | 段落大小不一 |
| 递归切割 | 多级分隔符逐层切 | 平衡性好 | 需要调参 |
| 语义切割 | Embedding相似度变化点 | 最精确 | 计算量大 |
推荐:生产环境用递归切割( RecursiveCharacterTextSplitter),分隔符优先级: \n\n > \n >。 > ,。
Q54:什么是Parent-Child Chunking?为什么说它是“RAG准确率的秘密
武器”?
原理:用小Chunk(200字)做检索匹配(精准),但返回给LLM 的是小Chunk所属的大Chunk(1000字, Parent)精准检索+完整上下文两全其美。
效果:Faithfulness提升23%,因为LLM 始终看到完整的段落上下文,不会因为Chunk被截断而“脑补”缺失信息。
Q55:Overlap(重叠)设多少合适?为什么需要重叠?
原因:没有Overlap时,关键信息如果恰好在切割点两侧,两个Chunk都只有半句话,检索时可能命中了但信息不完整。
| 文档类型 | Chunk Size | 推荐Overlap | 理由 |
|---|---|---|---|
| 技术文档 | 500字 | 50-80字 | 代码跨行情况多 |
| 法律合同 | 300字 | 30-50字 | 条款需要精确 |
| 产品手册 | 600字 | 60-100字 | 段落较长 |
| 对话记录 | 200字 | 20-30字 | 单轮对话较短 |
Q56-Q60:向量检索深度
Q56:HNSW 索引的M 参数和efConstruction参数各有什么影响?怎么调?→ M 影响每个节点的邻居数(越大越准但内存越多),推荐16-32。efConstruction影响构建质量(越大构建越慢但索引质量越高),推荐128-
256。查询时的ef参数影响搜索精度vs速度,推荐64-128。
Q57:余弦相似度vs欧氏距离vs内积,RAG场景用哪个?→余弦相似度。原因:Embedding 向量经过归一化后,余弦相似度等价于内积,且不受向量模长影响。
0.95 之间无法区分。检测:计算所有向量对的平均余弦相似度,如果 > 0.8 就有坍缩风险。解决:换更好的 Embedding 模型、增加维度、使用normalize。
Q59:为什么纯向量检索不够?什么时候必须加 BM25? →向量检索擅长语义匹配但对精确关键词(编号、人名、代号)弱。当查询包含“ISO 27001条款 6.1.2”等精确词时,BM25的精确匹配能力远超向量。Hybrid =
向量+ BM25 + RRF 融合是生产标配。
Q60:RRF(Reciprocal Rank Fusion)的公式是什么?为什么 k=60是最佳值? → RRF_score(d) = Σ 1/(k
- rank_i)。k=60是原论文推荐的,在大量实验中表现最优既不过度偏向排名靠前的结果(k太小),也不
过度“拉平”排名差异(k太大)。
Q61-Q65:Reranker与精排
Q61:Reranker和Retriever的分工是什么?为什么不直接用Reranker做检索?→ Retriever用双编码器(Bi- Encoder),独立编码 Query 和 Document,速度极快(毫秒级),但精度有限。Reranker 用交叉编码器
(Cross-Encoder),同时编码Query+Document 对,精度极高但速度慢(百毫秒/对)。直接用Reranker检索 100 万文档需要百万次 Cross-Encoder 推理,完全不现实。所以分两阶段:先用快的 Retriever 筛到 Top-
20,再用准的Reranker精排到Top-5。
Q62:BGE-Reranker的阈值怎么调?→在验证集上画Precision-Recall 曲线,选F1最高点对应的阈值。通用场景推荐0.3-0.4。严格场景(法规合同)可调到0.5-0.6。
Q63:Reranker对RAG整体准确率提升有多大?→实测数据:加入Reranker后,Top-5 Precision从48%提升到 89%(+85%),LLM 幻觉率从 35% 降到 5%(-86%),同时 Token 消耗降低 50%(因为噪声被过滤
了)。
Q64:ColBERT和传统Cross-Encoder Reranker有什么区别?→ ColBERT是“延迟交互”模型在索引时预计算Document Token的向量,查询时只需要计算Query Token与Document Token的最大相似度。速度比
Cross-Encoder快100倍,精度接近。适合需要大规模重排的场景。
Q65:如何对Reranker做高并发部署?→ FastAPI + GPU 服务化+批处理。关键优化:将多个查询的 (query, document) 对组成batch一次性推理,利用GPU 并行计算。单张RTX 3090可支撑50-100 QPS的Reranker请
求。
Q66-Q70:RAG高级策略
Q66:什么是 Query Rewriting(查询改写)?为什么有效? →用户的原始查询往往不够精确或太口语化。让 LLM 先改写查询(如:将“公司怎么退货”改写为“退货政策退款流程退货条件”),再用改写后的查询去检
索。可提升召回率15-20%。
Q67:什么是 HyDE(Hypothetical Document Embeddings)? → 先让 LLM 生成一个“假设性的理想答案”,然后用这个假设答案的Embedding 去检索。因为假设答案和真实文档在语义空间中更接近。适合抽象/开
放性查询。