← 返回目录

第 11 卷

第 11 / 15 卷日期:

问了什么(input)→模型如何决策(intermediate_steps)→最终回答了什么(output)。保留至少90天,支持按user_id/session_id查询。

Q139:Rate Limiting 在大模型应用中怎么设计?→三层限流:①用户级(每用户每天100次)②租户级(每组织每小时10000次)③全局级(总QPS不超过系统容量的80%)。使用令牌桶或滑动窗口算法。

Q140:如何防止“越狱”(Jailbreak)? → 多层防御:① System Prompt 硬编码安全规则 ② 输入经过 Llama-Guard分类③输出经过安全过滤④监控异常模式(如短时间内大量尝试不同的越狱Prompt)

Q141-Q150:运维实操

Q141:大模型应用的灰度发布怎么做?→ ① Prompt版本灰度:新Prompt先给5%流量,对比老Prompt的质量指标②模型灰度:新模型先接10%流量③整体灰度:新版本先在内部员工中使用。

Q142:如何做LLM 应用的A/B 测试?→同一个问题分别用A/B 两套配置(Prompt/模型/参数)回答→比较质量指标(Faithfulness/Relevance/用户评分)→统计显著性检验→选胜者。

Q143:模型版本升级(如 GPT-4 → GPT-4o)时如何平滑迁移? → ① 在测试环境跑评估数据集(100条) ② 对比新旧模型的质量指标③灰度放量(10% → 50% → 100%)④监控线上指标48小时⑤确认无退化后全量切

换。

Q144:如何处理大模型的“幂等性”问题?→同一个输入,LLM 每次输出不同。解决:①设temperature=0 (确定性输出)②设固定seed ③对于关键决策,多次采样取众数。

Q145:大模型应用的容灾架构怎么设计?→主备模型+主备区域。GPT-4o主用→ Claude备用→本地Qwen 兜底。美西区域主用→新加坡区域备用。关键数据(Checkpoints/用户画像)做跨区域同步。

Q146-Q150快速过

Q146:如何监控LLM 输出质量的长期漂移?→每天随机采样50条输出做质量评估,画趋势线。如果连续3天下降→告警。

Q147:大模型应用的SLA怎么定?→可用性> 99.5%,P95延迟< 10s,幻觉率< 10%,日成本不超预算。

Q148:如何做大模型应用的成本优化?→ 5招组合拳:模型降级、Prompt精简、缓存、批量API、输出限制。

Q149:什么是“模型蒸馏”在应用层的意义?→用大模型(GPT-4o)生成高质量数据 →微调小模型(GPT- 4o-mini / Qwen-7B)→用小模型替代,成本降低90%。

Q150:大模型应用的技术债有哪些?→ ① Prompt 写死在代码中(应该外部化管理)② 没有评估体系(盲调参)③没有监控(出了问题靠用户反馈)④单模型依赖(没有灾备)。

Q151-Q160:高级运维

Q151:什么是 LLMOps?和 MLOps 有什么区别? → LLMOps 关注:Prompt 版本管理、模型选型/切换、 Token 成本管控、安全护栏、评估数据集维护。MLOps 关注:数据管道、特征工程、模型训练、模型注册。

LLMOps更偏“运营”而非“训练”。

Q152:如何实现Prompt的灰度发布和回滚?→将Prompt存在外部存储(数据库/LangSmith Hub),给每个版本打标签(v1, v2, canary)。通过配置中心控制流量分配。回滚只需要把配置指回旧版本。

Q153:大模型应用的混沌工程怎么做? →模拟故障场景:① 模拟 LLM API 超时 ② 模拟工具调用失败 ③ 模拟 Checkpointer存储故障④模拟高并发。验证系统在各种故障下的降级行为是否符合预期。

Q154:如何构建“评估飞轮”持续优化RAG质量?→收集用户反馈(点赞/踩)→将差评案例加入评估数据集

  • 分析失败原因 → 优化(Prompt/Chunk策略/Reranker阈值)→ 回归测试 → 上线 → 继续收集反馈(闭

环)。

Q155:什么是Red Teaming?→找一组人专门用各种方式攻击你的LLM 应用(Prompt Injection、越狱、诱导输出有害内容),暴露安全漏洞。类似安全领域的渗透测试。

Q156-Q160快速过

Q156:如何监控Embedding 模型的质量退化?→定期用标准Query 集做检索测试,如果Recall@10下降→ 告警。Q157:大模型应用的日志脱敏怎么做?→日志中的用户输入做PII 脱敏后再存储。Q158:如何做多租

户的Token配额管理?→每个租户分配月度Token预算,实时计量,接近预算80%时告警。Q159:模型供应商停服怎么办?→至少对接两个供应商(如OpenAI + DeepSeek),代码层抽象模型接口。Q160:大模型应用

的隐私计算方案?→联邦学习+差分隐私+ TEE(可信执行环境)。目前主流方案是数据不出境+本地推理。

本章小结

核心考点高频关键词

可观测性LangSmith, LangFuse,结构化日志, Trace
安全PII脱敏, Prompt Injection, Llama-Guard, Red Teaming
运维灰度发布, A/B测试,容灾,成本优化, SLA
合规数据不出境,审计追踪, GDPR
LLMOpsPrompt版本管理,评估飞轮,混沌工程

📖小白导读

本节讲的是「第七章:边缘部署、推理加速与 LoRA微调篇(Q161-Q180)」。读完你会掌握:

Q161:vLLM 是什么?为什么能比 HuggingFace Transformers 快 3-5 倍?

Q162:本地部署大模型有哪些方案?怎么选?

Q163:量化(Quantization)是什么?Q4、Q8、FP16 有什么区别?

Q164:什么是 LoRA?和全参数微调有什么区别?

Q165:微调大模型需要多少数据?

💡 代码部分已精简,完整可运行版本见HTML 交互课件。

全站分卷索引 · 15 卷
  1. 1第 1 卷
  2. 2第 2 卷
  3. 3第 3 卷
  4. 4第 4 卷
  5. 5第 5 卷
  6. 6第 6 卷
  7. 7第 7 卷
  8. 8第 8 卷
  9. 9第 9 卷
  10. 10第 10 卷
  11. 11第 11 卷
  12. 12第 12 卷
  13. 13第 13 卷
  14. 14第 14 卷
  15. 15第 15 卷