第 10 卷
📖小白导读
本节讲的是「第六章:可观测性、安全脱敏与运维篇(Q131-Q160)」。读完你会掌握:
Q131:大模型应用的可观测性需要监控哪些指标?
Q132:LangSmith和 LangFuse 的区别?怎么选?
Q133:如何设计大模型应用的结构化日志?
Q134:Prompt Injection的检测方案有哪些?
Q135-Q140:安全深度
💡 代码部分已精简,完整可运行版本见HTML 交互课件。
第六章:可观测性、安全脱敏与运维篇(Q131-
Q160)
大模型应用上线后,最大的挑战不是开发是运维。怎么监控、怎么排错、怎么保安全
Q131:大模型应用的可观测性需要监控哪些指标?
| 维度 | 指标 | 健康值 | 告警阈值 |
|---|---|---|---|
| 延迟 | P50/P95/P99响应时间 | 2s/5s/15s | P95 > 10s |
| 成本 | 日Token消耗/日成本 | 在预算内 | >日预算80% |
| 质量 | Faithfulness /幻觉率 | > 0.85 / < 10% | F < 0.7 |
| 可用性 | 成功率 | > 99% | < 95% |
| 吞吐 | QPS | 根据业务 | 接近容量上限 |
| 安全 | Prompt Injection检测率 | > 95% | < 80% |
Q132:LangSmith和LangFuse的区别?怎么选?
| 维度 | LangSmith | LangFuse |
|---|---|---|
| 厂商 | LangChain官方 | 开源社区 |
| 定价 | 免费(有限额度)+付费 | 开源免费(可自部署) |
| 集成 | LangChain无缝集成 | 需要手动埋点 |
| 数据主权 | 云端(数据出境) | 可私有部署 |
| 功能 | 追踪+评估+Prompt管理+数据集 | 追踪+评估+分析 |
| 推荐 | 用LangChain且不介意云端 | 企业需数据不出境 |
Q133:如何设计大模型应用的结构化日志?
好的日志格式(JSON 结构化):
{
"timestamp": "2026-06-30T10 23 45Z",
"level": "INFO",
"event": "llm_call",
"model": "gpt-4o mini",
"input_tokens": 350,
"output_tokens": 520,
完整代码见 HTML 交互版
反模式: print(f"调用了模型,结果是:{result}")这种日志在生产环境中几乎无法用于排查问题。
Q134:Prompt Injection的检测方案有哪些?
| 方案 | 原理 | 检测率 | 误报率 | 推荐度 |
|---|---|---|---|---|
| 关键词匹配 | 检测“忽略指令”“ignore previous” | 40% | 高 | ⭐⭐ |
| 分类模型 | 专门训练的注入检测模型 | 95% | 低 | ⭐⭐⭐⭐⭐ |
| LLM自检 | 用另一个LLM判断是否注入 | 85% | 中 | ⭐⭐⭐ |
| 输入-输出对比 | 检测输出是否偏离预期范围 | 70% | 低 | ⭐⭐⭐ |
| Llama-Guard | Meta开源的安全分类模型 | 93% | 低 | ⭐⭐⭐⭐⭐ |
Q135-Q140:安全深度
Q135:什么是PII(个人可识别信息)脱敏?怎么实现?→ PII 包括:姓名、手机号、身份证、邮箱、银行卡、地址。实现:在输入端和输出端各加一层正则替换(如 1[3-9]\d{9} → [PHONE])。是GDPR/个人信息保护
法的合规红线。
Q136:如何防止 LLM 泄露训练数据? → ① 使用 System Prompt 限制:“不要重复训练数据中的个人信息”
②输出端加PII过滤③限制temperature=0减少随机采样到训练数据的可能性④使用经过RLHF对齐的模型。
Q137:数据不出境的合规要求下怎么用大模型? → 三种方案: ① 使用国产大模型 API (DeepSeek/Qwen/GLM)② 本地部署开源模型(Qwen/Llama + vLLM)③ 使用私有部署的 Azure OpenAI
(指定中国区域)。