← 返回目录

第 13 卷

第 13 / 15 卷日期:

Q171-Q175:推理优化

Q171:Speculative Decoding(推测解码)是什么? → 用一个小模型(如 Llama-1B)快速生成多个候选 Token,再用大模型(如Llama-70B)一次性验证。如果猜对了直接接受(节省时间),猜错了回退。理论加速

2-3倍。

Q172:KV Cache的大小怎么计算?→ KV Cache Size = 2 × 层数 × 隐藏维度 × 序列长度 × 精度字节数。

Llama-7B (32层, 4096维) 处理4096 Token的KV Cache ≈ 2GB(FP16)。这就是为什么长上下文需要大量显存。

Q173:什么是 Flash Attention?为什么重要? → Flash Attention 通过“分块计算 + IO 感知”优化了 Attention的计算。不在HBM(高带宽内存)和SRAM(片上缓存)之间来回搬运大矩阵,而是分块在SRAM 中

完成计算。速度提升2-4倍,内存降低5-20倍。

Q174:Continuous Batching 和Static Batching 有什么区别?→ Static Batching:所有请求等最慢的那个完成才返回。Continuous Batching:每个请求完成后立即释放资源,新请求立即加入。vLLM 的 Continuous

Batching 让GPU 利用率从30%提升到80%+。

Q175:如何评估本地部署模型的性能?→三个核心指标:① TTFT(首Token延迟)② TPS(每秒Token生成速度)③最大并发数。用 litellm benchmark 或自建压测脚本测试。

Q176-Q180快速过

Q176:GGUF和 SafeTensors格式的区别?→ GGUF是 llama.cpp的格式(CPU 优化,支持部分层量化), SafeTensors是HuggingFace标准格式(GPU 优化,安全加载)。

Q177:如何在不同精度之间做权衡?→ FP16质量最好但显存大;Q4/Q8显存小但有质量损失。建议:先用Q4 跑通,如果质量不够再升到Q8或FP16。

Q178:什么是 MoE(Mixture of Experts)?→ 模型分成多个“专家”子网络,每次只激活其中 2-3 个。

Mixtral 8x7B 参数量46B 但每次只用12B,速度接近12B 但质量接近46B。

Q179:Function Calling 微调需要注意什么?→数据必须包含“不需要调工具”的负样本(占20-30%),否则模型会过度调用工具。

Q180:边缘部署(手机/IoT)的大模型方案?→ Phi-3-mini (3.8B) / Qwen2.5-1.5B + INT4量化,可在手机端 2GB 内存运行。或用MLC-LLM / llama.cpp做端侧推理。

本章小结

核心考点高频关键词

推理引擎vLLM, Ollama, llama.cpp, PagedAttention
量化Q4/Q8, GPTQ, AWQ, GGUF
微调LoRA/QLoRA,灾难性遗忘, DPO vs PPO
推理优化Flash Attention, Speculative Decoding, Continuous Batching
本地部署显存计算, KV Cache,并发测试

📖小白导读

本节讲的是「第八章:企业真实落地系统设计大题精解(Q181-Q200)」。读完你会掌握:

Q181:设计一个高并发智能客服系统(DAU 100 万)

Q182:设计一个 Text2SQL 智能数据分析平台

Q183:设计一个企业私有知识库问答系统

Q184:设计一个多 Agent 协作的自动化研报生成系统

Q185-Q190:更多系统设计题

💡 代码部分已精简,完整可运行版本见HTML 交互课件。

第八章:企业真实落地系统设计大题精解(Q181-

Q200)

面试终极 Boss:手画架构图,从 0设计一个大模型应用系统。这 20道大题决定你的 o er 级别

Q181:设计一个高并发智能客服系统(DAU 100万)

需求:支持100万DAU 的7×24智能客服,能自动回答80%的问题,剩余20%转人工。

架构设计:

[用户] → [负载均衡 (Nginx)]

↓

[API Gateway (限流/鉴权)]

↓

[意图分类器 (BERT/LLM)]

├── FAQ 类 → [RAG 系统] → 自动回答

├── 订单类 → [Agent + 工具] → 查询/操作订单系统

├── 投诉类 → [转人工] + 自动生成工单

完整代码见 HTML 交互版

关键设计决策:

决策点选择理由
意图分类先用小模型分类,再路由比直接用LLM处理所有请求便宜100倍
FAQ回答RAG(不用LLM生成)FAQ答案固定,检索即可,不需要生成
缓存策略相似问题缓存80%的问题是重复的,命中缓存无需调LLM
模型选择GPT-4o-mini / DeepSeek客服场景不需要最强模型,性价比优先

容量规划:

全站分卷索引 · 15 卷
  1. 1第 1 卷
  2. 2第 2 卷
  3. 3第 3 卷
  4. 4第 4 卷
  5. 5第 5 卷
  6. 6第 6 卷
  7. 7第 7 卷
  8. 8第 8 卷
  9. 9第 9 卷
  10. 10第 10 卷
  11. 11第 11 卷
  12. 12第 12 卷
  13. 13第 13 卷
  14. 14第 14 卷
  15. 15第 15 卷