第 4 卷
Q30:什么是LLM幻觉(Hallucination)?有哪些类型?怎么量化和减
轻?
考点:大模型应用的核心痛点
三种幻觉类型:| 类型| 表现| 例子| |||| | 事实幻觉| 编造不存在的事实| “爱因斯坦于1979年获得诺贝尔文学奖” | | 引用幻觉| 编造不存在的论文/链接| 给出虚假的DOI 或论文标题| | 逻辑幻觉| 推理过程正
确但前提错误| 基于错误数据进行正确的数学计算|
量化指标:Faithfulness(忠实度)回答中有多少比例的陈述可以在参考资料中找到依据。Ragas框架可自动计算。
减轻方案(按效果排序):1. RAG检索增强(最有效):让模型基于真实资料回答2. Prompt 约束:“不确定时说’我不确定’” 3. Temperature = 0:降低随机性4. 引用来源:要求模型标注每个观点的来源5. 二次验证:
另一个LLM检查事实准确性
Q31-Q35:高级Prompting技巧
Q31:什么是DSPy?它和传统Prompt Engineering 有什么区别?→ DSPy 是“提示词的编译器”。传统方式是人工写 Prompt(试错优化);DSPy 用程序化定义“输入→输出”映射,自动搜索最佳的 Prompt 模板、
Few-shot示例和提示策略。把Prompt优化从“手工艺”变成“自动化工程”。
Q32:如何处理多语言场景的 Prompt? → 核心技巧:System Prompt 用英文(模型理解效果更好),但 User/Output用目标语言。或者用明确指令:“请用中文回答”。不要整个Prompt都翻译成中文英文的指
令精确度更高。
Q33:Prompt版本管理怎么做?→把Prompt当代码管理:①存在独立文件(而非硬编码在代码中)②用Git 做版本控制 ③ A/B 测试不同版本 ④ 绑定评估数据集,每次改 Prompt 都跑评估。LangSmith Hub是 Prompt
版本管理的标准工具。
Q34:什么是“Prompt Ensembling”?→用多个不同的Prompt对同一个问题生成多个回答,然后通过投票/ 排序选出最佳答案。类似ML中的Ensemble Learning。成本是N 倍,但准确率可提升10-20%。
Q35:如何评估Prompt的质量?→建立评估数据集(50-100条标注数据),用以下指标衡量:
| 指标 | 含义 | 目标值 |
|---|---|---|
| Accuracy | 回答正确率 | > 85% |
| Faithfulness | 不编造信息 | > 0.85 |
| Format Compliance | 输出格式正确率 | > 95% |
| Latency | 平均响应时间 | < 3s |
| Cost | 每次调用成本 | 在预算内 |
Q36-Q40:输出控制
Q36:temperature、top_p、frequency_penalty各有什么用?怎么调?→ | 参数| 作用| 推荐值| ||| –| | temperature | 控制随机性| 事实类=0, 创意类=0.7-1.0 | | top_p | 控制候选Token的概率阈值| 通常0.9-
1.0 | | frequency_penalty | 减少重复 | 0-0.5 | | presence_penalty | 鼓励新话题 | 0-0.3 | 注意:不要同时调 temperature和top_p,二选一即可。
Q37:如何让模型输出“不确定”而不是瞎编? → ① Prompt 明确要求:“如果不确定,说’根据现有信息无法回答’” ②要求输出con dence分数③设置阈值(con dence < 0.6 →不展示结果)
Q38:什么是Logit Bias?什么场景用?→ Logit Bias可以在生成时强制提高/降低某些Token的概率。场景:
①强制输出某种语言(提高中文Token的logit)②禁止输出某些词(设为-100)
Q39:如何处理模型输出中的个人信息(PII)?→输出端加PII 脱敏层:正则匹配手机号/身份证/邮箱→替换为 [PHONE] / [ID] / [EMAIL]。这是合规红线,必须做。
Q40:如何做多轮对话中的“话题引导”? →在 System Prompt 中定义“allowed_topics”列表,如果用户偏离话题,引导回来。示例:
如果用户问到本系统服务范围外的问题(如政治、医疗诊断),
请友好地回复:"这个问题超出了我的服务范围,我主要帮您解决XX方面的问题。"
Q41-Q50快速过(精炼答案)
Q41:什么是 Guardrails?列举三种常用的 Guardrails框架。 → NeMo Guardrails(NVIDIA)、Guardrails AI、LangChain输出解析器。作用:防止有害输出、强制格式、话题限制。
Q42:如何实现“模型不知道就说不知道”?→ RAG + Prompt约束+置信度过滤三管齐下。单独靠Prompt说 “不知道就说不知道”效果有限(模型仍倾向于给答案)。
Q43:什么是Constitutional AI?→ Anthropic 提出的方法:用一组“宪法规则”来约束AI的行为(如“不要歧视”“不要给出危险建议”),然后用AI自我评审是否违反规则。Claude的安全性很大程度来自此技术。
Q44:Few-shot示例的数量和质量,哪个更重要?→质量远比数量重要。3个精心挑选的高质量示例> 10个随机的示例。示例要覆盖边界情况和常见错误。
Q45:Prompt 中的“角色扮演”真的有用吗?有实验数据吗? →有用。研究表明,“你是一位经验丰富的XX 专家”类角色设定可提升回答质量10-15%。原因:激活了模型在训练数据中关于该角色的知识分布。
Q46:什么是Self-Ask Prompting?→让模型在回答前先自问“我需要哪些子问题的答案”,拆解复杂问题为简单子问题逐一回答。适合多跳推理。
Q47:如何处理模型的“谄媚倾向”(Sycophancy)?→模型倾向于迎合用户的观点。解决:在Prompt中加 “请给出客观分析,即使与用户观点不同”。
确指令“只基于以下资料回答” ②资料放在Prompt中间(不要放开头或结尾)③要求标注来源
Q49:如何做Prompt的A/B 测试?→两个Prompt版本各跑100条测试数据→用Ragas/LangSmith评估→ 对比Faithfulness/Relevance/Latency →选胜者。
Q50:如何压缩System Prompt 减少Token消耗?→ ①去掉冗余(“请你帮我”→直接写指令)②用英文写(Token少50%)③用缩写和列表替代段落④ LLMLingua 自动压缩
本章小结
核心考点高频关键词
| Prompting技术 | Zero/Few-shot, CoT, ReAct, DSPy, Self-Ask |
|---|---|
| 结构化输出 | with_structured_output, Pydantic, Instructor, Outlines |
| 安全防护 | Prompt Injection, Guardrails, Constitutional AI, PII |
| 幻觉治理 | RAG, Faithfulness,引用来源,置信度过滤 |
| 输出控制 | temperature, Logit Bias,话题引导,格式强制 |
📖小白导读
本节讲的是「第三章:RAG检索增强、Chunk 策略与重排篇(Q51-Q75)」。读完你会掌握:
Q51:RAG系统的完整 Pipeline 有哪些环节?每个环节的关键指标是什么?
Q52:Naive RAG vs Advanced RAG vs Modular RAG有什么区别?
Q53:什么是语义切片(Semantic Chunking)?比固定大小切割好在哪?
Q54:什么是 Parent-Child Chunking?为什么说它是 RAG准确率的秘密武器?
Q55:Overlap(重叠)设多少合适?为什么需要重叠?
💡 代码部分已精简,完整可运行版本见HTML 交互课件。