第 11 卷
问了什么(input)→模型如何决策(intermediate_steps)→最终回答了什么(output)。保留至少90天,支持按user_id/session_id查询。
Q139:Rate Limiting 在大模型应用中怎么设计?→三层限流:①用户级(每用户每天100次)②租户级(每组织每小时10000次)③全局级(总QPS不超过系统容量的80%)。使用令牌桶或滑动窗口算法。
Q140:如何防止“越狱”(Jailbreak)? → 多层防御:① System Prompt 硬编码安全规则 ② 输入经过 Llama-Guard分类③输出经过安全过滤④监控异常模式(如短时间内大量尝试不同的越狱Prompt)
Q141-Q150:运维实操
Q141:大模型应用的灰度发布怎么做?→ ① Prompt版本灰度:新Prompt先给5%流量,对比老Prompt的质量指标②模型灰度:新模型先接10%流量③整体灰度:新版本先在内部员工中使用。
Q142:如何做LLM 应用的A/B 测试?→同一个问题分别用A/B 两套配置(Prompt/模型/参数)回答→比较质量指标(Faithfulness/Relevance/用户评分)→统计显著性检验→选胜者。
Q143:模型版本升级(如 GPT-4 → GPT-4o)时如何平滑迁移? → ① 在测试环境跑评估数据集(100条) ② 对比新旧模型的质量指标③灰度放量(10% → 50% → 100%)④监控线上指标48小时⑤确认无退化后全量切
换。
Q144:如何处理大模型的“幂等性”问题?→同一个输入,LLM 每次输出不同。解决:①设temperature=0 (确定性输出)②设固定seed ③对于关键决策,多次采样取众数。
Q145:大模型应用的容灾架构怎么设计?→主备模型+主备区域。GPT-4o主用→ Claude备用→本地Qwen 兜底。美西区域主用→新加坡区域备用。关键数据(Checkpoints/用户画像)做跨区域同步。
Q146-Q150快速过
Q146:如何监控LLM 输出质量的长期漂移?→每天随机采样50条输出做质量评估,画趋势线。如果连续3天下降→告警。
Q147:大模型应用的SLA怎么定?→可用性> 99.5%,P95延迟< 10s,幻觉率< 10%,日成本不超预算。
Q148:如何做大模型应用的成本优化?→ 5招组合拳:模型降级、Prompt精简、缓存、批量API、输出限制。
Q149:什么是“模型蒸馏”在应用层的意义?→用大模型(GPT-4o)生成高质量数据 →微调小模型(GPT- 4o-mini / Qwen-7B)→用小模型替代,成本降低90%。
Q150:大模型应用的技术债有哪些?→ ① Prompt 写死在代码中(应该外部化管理)② 没有评估体系(盲调参)③没有监控(出了问题靠用户反馈)④单模型依赖(没有灾备)。
Q151-Q160:高级运维
Q151:什么是 LLMOps?和 MLOps 有什么区别? → LLMOps 关注:Prompt 版本管理、模型选型/切换、 Token 成本管控、安全护栏、评估数据集维护。MLOps 关注:数据管道、特征工程、模型训练、模型注册。
LLMOps更偏“运营”而非“训练”。
Q152:如何实现Prompt的灰度发布和回滚?→将Prompt存在外部存储(数据库/LangSmith Hub),给每个版本打标签(v1, v2, canary)。通过配置中心控制流量分配。回滚只需要把配置指回旧版本。
Q153:大模型应用的混沌工程怎么做? →模拟故障场景:① 模拟 LLM API 超时 ② 模拟工具调用失败 ③ 模拟 Checkpointer存储故障④模拟高并发。验证系统在各种故障下的降级行为是否符合预期。
Q154:如何构建“评估飞轮”持续优化RAG质量?→收集用户反馈(点赞/踩)→将差评案例加入评估数据集
- 分析失败原因 → 优化(Prompt/Chunk策略/Reranker阈值)→ 回归测试 → 上线 → 继续收集反馈(闭
环)。
Q155:什么是Red Teaming?→找一组人专门用各种方式攻击你的LLM 应用(Prompt Injection、越狱、诱导输出有害内容),暴露安全漏洞。类似安全领域的渗透测试。
Q156-Q160快速过
Q156:如何监控Embedding 模型的质量退化?→定期用标准Query 集做检索测试,如果Recall@10下降→ 告警。Q157:大模型应用的日志脱敏怎么做?→日志中的用户输入做PII 脱敏后再存储。Q158:如何做多租
户的Token配额管理?→每个租户分配月度Token预算,实时计量,接近预算80%时告警。Q159:模型供应商停服怎么办?→至少对接两个供应商(如OpenAI + DeepSeek),代码层抽象模型接口。Q160:大模型应用
的隐私计算方案?→联邦学习+差分隐私+ TEE(可信执行环境)。目前主流方案是数据不出境+本地推理。
本章小结
核心考点高频关键词
| 可观测性 | LangSmith, LangFuse,结构化日志, Trace |
|---|---|
| 安全 | PII脱敏, Prompt Injection, Llama-Guard, Red Teaming |
| 运维 | 灰度发布, A/B测试,容灾,成本优化, SLA |
| 合规 | 数据不出境,审计追踪, GDPR |
| LLMOps | Prompt版本管理,评估飞轮,混沌工程 |
📖小白导读
本节讲的是「第七章:边缘部署、推理加速与 LoRA微调篇(Q161-Q180)」。读完你会掌握:
Q161:vLLM 是什么?为什么能比 HuggingFace Transformers 快 3-5 倍?
Q162:本地部署大模型有哪些方案?怎么选?
Q163:量化(Quantization)是什么?Q4、Q8、FP16 有什么区别?
Q164:什么是 LoRA?和全参数微调有什么区别?
Q165:微调大模型需要多少数据?
💡 代码部分已精简,完整可运行版本见HTML 交互课件。