← 返回目录

第 10 卷

第 10 / 15 卷日期:

📖小白导读

本节讲的是「第六章:可观测性、安全脱敏与运维篇(Q131-Q160)」。读完你会掌握:

Q131:大模型应用的可观测性需要监控哪些指标?

Q132:LangSmith和 LangFuse 的区别?怎么选?

Q133:如何设计大模型应用的结构化日志?

Q134:Prompt Injection的检测方案有哪些?

Q135-Q140:安全深度

💡 代码部分已精简,完整可运行版本见HTML 交互课件。

第六章:可观测性、安全脱敏与运维篇(Q131-

Q160)

大模型应用上线后,最大的挑战不是开发是运维。怎么监控、怎么排错、怎么保安全

Q131:大模型应用的可观测性需要监控哪些指标?

维度指标健康值告警阈值
延迟P50/P95/P99响应时间2s/5s/15sP95 > 10s
成本日Token消耗/日成本在预算内>日预算80%
质量Faithfulness /幻觉率> 0.85 / < 10%F < 0.7
可用性成功率> 99%< 95%
吞吐QPS根据业务接近容量上限
安全Prompt Injection检测率> 95%< 80%

Q132:LangSmith和LangFuse的区别?怎么选?

维度LangSmithLangFuse
厂商LangChain官方开源社区
定价免费(有限额度)+付费开源免费(可自部署)
集成LangChain无缝集成需要手动埋点
数据主权云端(数据出境)可私有部署
功能追踪+评估+Prompt管理+数据集追踪+评估+分析
推荐用LangChain且不介意云端企业需数据不出境

Q133:如何设计大模型应用的结构化日志?

好的日志格式(JSON 结构化):

{

"timestamp": "2026-06-30T10 23 45Z",

"level": "INFO",

"event": "llm_call",

"model": "gpt-4o mini",

"input_tokens": 350,

"output_tokens": 520,

完整代码见 HTML 交互版

反模式: print(f"调用了模型,结果是:{result}")这种日志在生产环境中几乎无法用于排查问题。

Q134:Prompt Injection的检测方案有哪些?

方案原理检测率误报率推荐度
关键词匹配检测“忽略指令”“ignore previous”40%高⭐⭐
分类模型专门训练的注入检测模型95%低⭐⭐⭐⭐⭐
LLM自检用另一个LLM判断是否注入85%中⭐⭐⭐
输入-输出对比检测输出是否偏离预期范围70%低⭐⭐⭐
Llama-GuardMeta开源的安全分类模型93%低⭐⭐⭐⭐⭐

Q135-Q140:安全深度

Q135:什么是PII(个人可识别信息)脱敏?怎么实现?→ PII 包括:姓名、手机号、身份证、邮箱、银行卡、地址。实现:在输入端和输出端各加一层正则替换(如 1[3-9]\d{9} → [PHONE])。是GDPR/个人信息保护

法的合规红线。

Q136:如何防止 LLM 泄露训练数据? → ① 使用 System Prompt 限制:“不要重复训练数据中的个人信息”

②输出端加PII过滤③限制temperature=0减少随机采样到训练数据的可能性④使用经过RLHF对齐的模型。

Q137:数据不出境的合规要求下怎么用大模型? → 三种方案: ① 使用国产大模型 API (DeepSeek/Qwen/GLM)② 本地部署开源模型(Qwen/Llama + vLLM)③ 使用私有部署的 Azure OpenAI

(指定中国区域)。

全站分卷索引 · 15 卷
  1. 1第 1 卷
  2. 2第 2 卷
  3. 3第 3 卷
  4. 4第 4 卷
  5. 5第 5 卷
  6. 6第 6 卷
  7. 7第 7 卷
  8. 8第 8 卷
  9. 9第 9 卷
  10. 10第 10 卷
  11. 11第 11 卷
  12. 12第 12 卷
  13. 13第 13 卷
  14. 14第 14 卷
  15. 15第 15 卷