← 返回目录

第 4 卷

第 4 / 15 卷日期:

Q30:什么是LLM幻觉(Hallucination)?有哪些类型?怎么量化和减

轻?

考点:大模型应用的核心痛点

三种幻觉类型:| 类型| 表现| 例子| |||| | 事实幻觉| 编造不存在的事实| “爱因斯坦于1979年获得诺贝尔文学奖” | | 引用幻觉| 编造不存在的论文/链接| 给出虚假的DOI 或论文标题| | 逻辑幻觉| 推理过程正

确但前提错误| 基于错误数据进行正确的数学计算|

量化指标:Faithfulness(忠实度)回答中有多少比例的陈述可以在参考资料中找到依据。Ragas框架可自动计算。

减轻方案(按效果排序):1. RAG检索增强(最有效):让模型基于真实资料回答2. Prompt 约束:“不确定时说’我不确定’” 3. Temperature = 0:降低随机性4. 引用来源:要求模型标注每个观点的来源5. 二次验证:

另一个LLM检查事实准确性

Q31-Q35:高级Prompting技巧

Q31:什么是DSPy?它和传统Prompt Engineering 有什么区别?→ DSPy 是“提示词的编译器”。传统方式是人工写 Prompt(试错优化);DSPy 用程序化定义“输入→输出”映射,自动搜索最佳的 Prompt 模板、

Few-shot示例和提示策略。把Prompt优化从“手工艺”变成“自动化工程”。

Q32:如何处理多语言场景的 Prompt? → 核心技巧:System Prompt 用英文(模型理解效果更好),但 User/Output用目标语言。或者用明确指令:“请用中文回答”。不要整个Prompt都翻译成中文英文的指

令精确度更高。

Q33:Prompt版本管理怎么做?→把Prompt当代码管理:①存在独立文件(而非硬编码在代码中)②用Git 做版本控制 ③ A/B 测试不同版本 ④ 绑定评估数据集,每次改 Prompt 都跑评估。LangSmith Hub是 Prompt

版本管理的标准工具。

Q34:什么是“Prompt Ensembling”?→用多个不同的Prompt对同一个问题生成多个回答,然后通过投票/ 排序选出最佳答案。类似ML中的Ensemble Learning。成本是N 倍,但准确率可提升10-20%。

Q35:如何评估Prompt的质量?→建立评估数据集(50-100条标注数据),用以下指标衡量:

指标含义目标值
Accuracy回答正确率> 85%
Faithfulness不编造信息> 0.85
Format Compliance输出格式正确率> 95%
Latency平均响应时间< 3s
Cost每次调用成本在预算内

Q36-Q40:输出控制

Q36:temperature、top_p、frequency_penalty各有什么用?怎么调?→ | 参数| 作用| 推荐值| ||| –| | temperature | 控制随机性| 事实类=0, 创意类=0.7-1.0 | | top_p | 控制候选Token的概率阈值| 通常0.9-

1.0 | | frequency_penalty | 减少重复 | 0-0.5 | | presence_penalty | 鼓励新话题 | 0-0.3 | 注意:不要同时调 temperature和top_p,二选一即可。

Q37:如何让模型输出“不确定”而不是瞎编? → ① Prompt 明确要求:“如果不确定,说’根据现有信息无法回答’” ②要求输出con dence分数③设置阈值(con dence < 0.6 →不展示结果)

Q38:什么是Logit Bias?什么场景用?→ Logit Bias可以在生成时强制提高/降低某些Token的概率。场景:

①强制输出某种语言(提高中文Token的logit)②禁止输出某些词(设为-100)

Q39:如何处理模型输出中的个人信息(PII)?→输出端加PII 脱敏层:正则匹配手机号/身份证/邮箱→替换为 [PHONE] / [ID] / [EMAIL]。这是合规红线,必须做。

Q40:如何做多轮对话中的“话题引导”? →在 System Prompt 中定义“allowed_topics”列表,如果用户偏离话题,引导回来。示例:

如果用户问到本系统服务范围外的问题(如政治、医疗诊断),

请友好地回复:"这个问题超出了我的服务范围,我主要帮您解决XX方面的问题。"

Q41-Q50快速过(精炼答案)

Q41:什么是 Guardrails?列举三种常用的 Guardrails框架。 → NeMo Guardrails(NVIDIA)、Guardrails AI、LangChain输出解析器。作用:防止有害输出、强制格式、话题限制。

Q42:如何实现“模型不知道就说不知道”?→ RAG + Prompt约束+置信度过滤三管齐下。单独靠Prompt说 “不知道就说不知道”效果有限(模型仍倾向于给答案)。

Q43:什么是Constitutional AI?→ Anthropic 提出的方法:用一组“宪法规则”来约束AI的行为(如“不要歧视”“不要给出危险建议”),然后用AI自我评审是否违反规则。Claude的安全性很大程度来自此技术。

Q44:Few-shot示例的数量和质量,哪个更重要?→质量远比数量重要。3个精心挑选的高质量示例> 10个随机的示例。示例要覆盖边界情况和常见错误。

Q45:Prompt 中的“角色扮演”真的有用吗?有实验数据吗? →有用。研究表明,“你是一位经验丰富的XX 专家”类角色设定可提升回答质量10-15%。原因:激活了模型在训练数据中关于该角色的知识分布。

Q46:什么是Self-Ask Prompting?→让模型在回答前先自问“我需要哪些子问题的答案”,拆解复杂问题为简单子问题逐一回答。适合多跳推理。

Q47:如何处理模型的“谄媚倾向”(Sycophancy)?→模型倾向于迎合用户的观点。解决:在Prompt中加 “请给出客观分析,即使与用户观点不同”。

确指令“只基于以下资料回答” ②资料放在Prompt中间(不要放开头或结尾)③要求标注来源

Q49:如何做Prompt的A/B 测试?→两个Prompt版本各跑100条测试数据→用Ragas/LangSmith评估→ 对比Faithfulness/Relevance/Latency →选胜者。

Q50:如何压缩System Prompt 减少Token消耗?→ ①去掉冗余(“请你帮我”→直接写指令)②用英文写(Token少50%)③用缩写和列表替代段落④ LLMLingua 自动压缩

本章小结

核心考点高频关键词

Prompting技术Zero/Few-shot, CoT, ReAct, DSPy, Self-Ask
结构化输出with_structured_output, Pydantic, Instructor, Outlines
安全防护Prompt Injection, Guardrails, Constitutional AI, PII
幻觉治理RAG, Faithfulness,引用来源,置信度过滤
输出控制temperature, Logit Bias,话题引导,格式强制

📖小白导读

本节讲的是「第三章:RAG检索增强、Chunk 策略与重排篇(Q51-Q75)」。读完你会掌握:

Q51:RAG系统的完整 Pipeline 有哪些环节?每个环节的关键指标是什么?

Q52:Naive RAG vs Advanced RAG vs Modular RAG有什么区别?

Q53:什么是语义切片(Semantic Chunking)?比固定大小切割好在哪?

Q54:什么是 Parent-Child Chunking?为什么说它是 RAG准确率的秘密武器?

Q55:Overlap(重叠)设多少合适?为什么需要重叠?

💡 代码部分已精简,完整可运行版本见HTML 交互课件。

全站分卷索引 · 15 卷
  1. 1第 1 卷
  2. 2第 2 卷
  3. 3第 3 卷
  4. 4第 4 卷
  5. 5第 5 卷
  6. 6第 6 卷
  7. 7第 7 卷
  8. 8第 8 卷
  9. 9第 9 卷
  10. 10第 10 卷
  11. 11第 11 卷
  12. 12第 12 卷
  13. 13第 13 卷
  14. 14第 14 卷
  15. 15第 15 卷