第 13 卷
Q171-Q175:推理优化
Q171:Speculative Decoding(推测解码)是什么? → 用一个小模型(如 Llama-1B)快速生成多个候选 Token,再用大模型(如Llama-70B)一次性验证。如果猜对了直接接受(节省时间),猜错了回退。理论加速
2-3倍。
Q172:KV Cache的大小怎么计算?→ KV Cache Size = 2 × 层数 × 隐藏维度 × 序列长度 × 精度字节数。
Llama-7B (32层, 4096维) 处理4096 Token的KV Cache ≈ 2GB(FP16)。这就是为什么长上下文需要大量显存。
Q173:什么是 Flash Attention?为什么重要? → Flash Attention 通过“分块计算 + IO 感知”优化了 Attention的计算。不在HBM(高带宽内存)和SRAM(片上缓存)之间来回搬运大矩阵,而是分块在SRAM 中
完成计算。速度提升2-4倍,内存降低5-20倍。
Q174:Continuous Batching 和Static Batching 有什么区别?→ Static Batching:所有请求等最慢的那个完成才返回。Continuous Batching:每个请求完成后立即释放资源,新请求立即加入。vLLM 的 Continuous
Batching 让GPU 利用率从30%提升到80%+。
Q175:如何评估本地部署模型的性能?→三个核心指标:① TTFT(首Token延迟)② TPS(每秒Token生成速度)③最大并发数。用 litellm benchmark 或自建压测脚本测试。
Q176-Q180快速过
Q176:GGUF和 SafeTensors格式的区别?→ GGUF是 llama.cpp的格式(CPU 优化,支持部分层量化), SafeTensors是HuggingFace标准格式(GPU 优化,安全加载)。
Q177:如何在不同精度之间做权衡?→ FP16质量最好但显存大;Q4/Q8显存小但有质量损失。建议:先用Q4 跑通,如果质量不够再升到Q8或FP16。
Q178:什么是 MoE(Mixture of Experts)?→ 模型分成多个“专家”子网络,每次只激活其中 2-3 个。
Mixtral 8x7B 参数量46B 但每次只用12B,速度接近12B 但质量接近46B。
Q179:Function Calling 微调需要注意什么?→数据必须包含“不需要调工具”的负样本(占20-30%),否则模型会过度调用工具。
Q180:边缘部署(手机/IoT)的大模型方案?→ Phi-3-mini (3.8B) / Qwen2.5-1.5B + INT4量化,可在手机端 2GB 内存运行。或用MLC-LLM / llama.cpp做端侧推理。
本章小结
核心考点高频关键词
| 推理引擎 | vLLM, Ollama, llama.cpp, PagedAttention |
|---|---|
| 量化 | Q4/Q8, GPTQ, AWQ, GGUF |
| 微调 | LoRA/QLoRA,灾难性遗忘, DPO vs PPO |
| 推理优化 | Flash Attention, Speculative Decoding, Continuous Batching |
| 本地部署 | 显存计算, KV Cache,并发测试 |
📖小白导读
本节讲的是「第八章:企业真实落地系统设计大题精解(Q181-Q200)」。读完你会掌握:
Q181:设计一个高并发智能客服系统(DAU 100 万)
Q182:设计一个 Text2SQL 智能数据分析平台
Q183:设计一个企业私有知识库问答系统
Q184:设计一个多 Agent 协作的自动化研报生成系统
Q185-Q190:更多系统设计题
💡 代码部分已精简,完整可运行版本见HTML 交互课件。
第八章:企业真实落地系统设计大题精解(Q181-
Q200)
面试终极 Boss:手画架构图,从 0设计一个大模型应用系统。这 20道大题决定你的 o er 级别
Q181:设计一个高并发智能客服系统(DAU 100万)
需求:支持100万DAU 的7×24智能客服,能自动回答80%的问题,剩余20%转人工。
架构设计:
[用户] → [负载均衡 (Nginx)]
↓
[API Gateway (限流/鉴权)]
↓
[意图分类器 (BERT/LLM)]
├── FAQ 类 → [RAG 系统] → 自动回答
├── 订单类 → [Agent + 工具] → 查询/操作订单系统
├── 投诉类 → [转人工] + 自动生成工单
完整代码见 HTML 交互版
关键设计决策:
| 决策点 | 选择 | 理由 |
|---|---|---|
| 意图分类 | 先用小模型分类,再路由 | 比直接用LLM处理所有请求便宜100倍 |
| FAQ回答 | RAG(不用LLM生成) | FAQ答案固定,检索即可,不需要生成 |
| 缓存策略 | 相似问题缓存 | 80%的问题是重复的,命中缓存无需调LLM |
| 模型选择 | GPT-4o-mini / DeepSeek | 客服场景不需要最强模型,性价比优先 |
容量规划: