第 2 卷
英文(模型理解英文Prompt 效果一样好,但Token更少)3. 去除Prompt 中的冗余表述(“请你帮我” →直接写指令)4. 输出限制 max_tokens,避免模型输出过长
Q3:如何设计一个Token用量监控和预算告警系统?
考点:可观测性+成本管控
架构设计:
[API 调用] → [Token 追踪中间件] → [时序数据库 (InfluxDB/Prometheus)]
↓
[Grafana 仪表盘]
↓
[告警规则引擎]
├── 单次调用 > 5000 token → 告警
完整代码见 HTML 交互版
关键指标:| 指标| 健康值| 告警阈值| ||–|| | 平均Token/请求| 500-1500 | > 5000 | | 日总Token | 根据预算| >日预算80% | | 429错误率| < 0.5% | > 5% | | P95延迟| < 5s | > 15s |
Q4:如何实现多模型负载均衡和灾备切换?
考点:高可用架构
设计思路:
[请求入口]
↓
[模型路由器]
├── 健康检查:每 30s 探活各模型 API
├── 权重分配:GPT-4o 70%, Claude 20%, DeepSeek 10%
├── 失败切换:主模型 3 次失败 → 自动切备用
完整代码见 HTML 交互版
面试关键词:加权轮询(Weighted Round Robin)、熔断器模式(Circuit Breaker)、主备切换(Active- Standby)
Q5:Streaming(流式输出)的底层原理是什么?为什么用SSE而不是
WebSocket?
考点:网络协议选型
| 维度 | SSE | WebSocket |
|---|---|---|
| 方向 | 服务端→客户端(单向) | 双向 |
| 连接 | HTTP长连接 | 独立协议 |
| 复杂度 | 低(标准HTTP) | 高(需要握手升级) |
| 代理/CDN兼容 | 好(标准HTTP) | 差(需要特殊配置) |
| 断线重连 | 内置(EventSource自动重连) | 需自己实现 |
| 适合场景 | LLM流式输出(只需服务端推送) | 实时聊天/游戏(需要双向) |
答案要点:LLM 流式输出是单向推送(服务端→客户端),SSE 完美匹配。WebSocket虽然也能做但杀鸡用牛刀增加了不必要的复杂度和代理兼容问题。
Q6-Q10:并发与批处理
Q6:你如何实现批量 Embedding 的并发控制? → 答:使用 asyncio.Semaphore(10) 控制最大并发数 + asyncio.gather() 并发执行+失败重试
Q7:OpenAI 的Batch API 是什么?什么时候用?→答:批量任务API,异步执行,价格便宜50%,适合不需要实时响应的场景(如批量翻译、数据标注)
Q8:如何估算一个RAG系统的每日Token消耗和成本?→答:日成本 = DAU × 平均对话轮数 × 每轮 Token 数 × 单价/Token。需要区分输入Token和输出Token分别计价。
Q9:max_tokens和 temperature参数如何影响响应质量和成本? →答: max_tokens 控制输出上限(越大成本越高); temperature 控制随机性(0=确定性,1=创意),不影响成本。
Q10:如何处理超长输入(超过模型上下文窗口)?→答:三种方案①截断(简单但丢信息)②摘要压缩(LLM先总结再问答)③ Map-Reduce(分块处理再合并)
Q11-Q15:Embedding与向量化
Q11:BGE-M3和OpenAI text-embedding-3有什么区别?怎么选?→答:BGE-M3中文更强、开源免费、可本地部署(数据不出境)。OpenAI的通用英文更好、速度更快(API调用)。中文场景首选BGE-M3。
和检索成本也线性增长。1024是当前最佳平衡点。3072(OpenAI)可以用 dimensions 参数降维到 1024使用。
Q13:什么是“Embedding 坍缩”问题?→答:大量不同文本的Embedding 向量集中在高维空间的某个小区域,导致向量相似度都很高,无法区分。解决:使用 normalize_embeddings=True +选择高质量模型。
Q14:如何评估一个 Embedding 模型的中文质量? → 答:用 MTEB(Massive Text Embedding Benchmark)的中文子集,看Retrieval / STS / Classi cation三项得分。
Q15:Embedding 缓存策略怎么设计? → 答:对相同文本不重复调 API用 (text_hash → vector) 的 Redis缓存。命中率可达30-60%,节省大量Embedding 调用成本。
Q16-Q20:性能优化
Q16:LLM 应用的延迟瓶颈通常在哪?怎么优化?→答:①首Token延迟(TTFT):选择低延迟模型②输出速度(TPS):控制max_tokens ③网络:使用就近的API端点④上下文:减少Prompt长度
Q17:如何做 Prompt 缓存? → 答:如果 System Prompt 不变(只有 User 消息变),用 cached_prompt_pref x 或OpenAI的Prompt Caching 功能,重复的前缀部分不重新计费。
Q18:什么是KV Cache?为什么它能加速推理?→答:KV Cache缓存了已计算过的Token的Key/Value矩阵。生成第N+1个Token时,不需要重新计算前N 个Token的注意力,只需要新Token与缓存的KV 做一次注
意力计算。
Q19:如何减少大模型的“Thinking Time”(推理延迟)?→答:①使用更小的模型(GPT-4o-mini 比GPT- 4o快3倍)②减少Prompt长度③限制max_tokens ④使用流式输出(用户感知延迟更低)
Q20:vLLM 的 PagedAttention原理是什么?为什么能提升吞吐量? →答:PagedAttention把 KV Cache切成固定大小的“页”,像操作系统的虚拟内存一样管理。避免了连续内存分配的碎片问题,GPU 显存利用率从
40%提升到90%+,吞吐量提升2-4倍。
Q21-Q25:成本工程
Q21:如何设计一个大模型应用的成本中心? → 答:按租户/场景/模型三维度计量。每次 API 调用记录 (user_id, scenario, model, input_tokens, output_tokens, cost),按月汇总出报告。
Q22:Prompt Compression(提示压缩)技术有哪些?→答:① LLMLingua:删除不重要的Token,压缩率 50%+ ②摘要法:长文档先用LLM总结再查询③ AutoCompressor:训练一个专门的压缩模型
Q23:如何在不降低质量的前提下把 Token 成本降低 70%? → 答:组合拳① 模型降级(简单问题用 mini) ② Prompt 精简(去冗余,英文 System Prompt) ③ 输出限制(max_tokens) ④ 缓存(相同问题不
重复调)⑤批量API(便宜50%)