第 14 卷
100 万 DAU × 平均 3 轮对话 = 300 万次/天
- 300 万 / 86400 秒 ≈ 35 QPS(平均)
- 峰值(晚 8-10 点)≈ 100 QPS
- 其中 60% 命中缓存 = 实际 LLM 调用 40 QPS
40 QPS × 1000 tokens/次 × $0.15/1M = $0.006/秒 = $518/天 = ¥3,600/天
月成本 ≈ ¥108,000(可接受,vs 人工客服 100 人 × ¥8,000 = ¥800,000/月)
Q182:设计一个Text2SQL智能数据分析平台
需求:让业务人员用自然语言查询数据库(如“上个月华东区销售额最高的产品是什么”)。
架构设计:
[用户自然语言查询]
↓
[查询理解 + 路由]
├── 简单统计 → Text2SQL Pipeline
└── 复杂分析 → RAG + 分析报告生成
↓
[Text2SQL Pipeline]
[Schema 裁剪] → 只暴露相关表的 DDL
完整代码见 HTML 交互版
安全红线(面试必提!):
| # | 安全措施 | 原因 |
|---|---|---|
| 1 | 只允许SELECT | 防止LLM生成DELETE/DROP |
| 2 | 只读数据库账号 | 即使SQL安全检查被绕过也无法写入 |
| 3 | LIMIT限制 | 防止返回百万行数据 |
| 4 | 禁止注释和分号 | 防止SQL注入 |
| 5 | 白名单表 | 只暴露业务表,不暴露系统表 |
| 6 | 超时限制 | 防止慢查询拖垮数据库 |
Q183:设计一个企业私有知识库问答系统
架构要点(面试常考的完整Pipeline):
[文档上传] → [Marker/Docling 解析] → [语义切片 + Parent-Child]
- [BGE-M3 向量化] → [Milvus 存储 + ES BM25 索引]
[用户查询] → [Query Rewriting] → [Hybrid 检索 (Top-20)]
- [BGE-Reranker 精排 (Top-5)] → [LLM 生成 + 引用来源]
- [Ragas 评估 + LangSmith 追踪]
面试加分点:1. 提到Parent-Child Chunking(精准检索+完整上下文)2. 提到Hybrid 检索+ RRF 融合(向量+BM25互补)3. 提到BGE-Reranker 过滤噪声(Top-5 Precision从48%→89%)4. 提到Ragas 评估闭环
(不是一次上线就完事,要持续迭代)
Q184:设计一个多Agent协作的自动化研报生成系统
Agent 团队配置:
[Supervisor]
├── Researcher(搜索+收集信息)
├── Analyst(数据分析+生成图表)
├── Writer(撰写报告)
└── Reviewer(质量审查)
关键设计点: - 用 LangGraph Supervisor 模式(可控、可追踪) - 信息通过共享 State 传递(而非消息传递) - Reviewer 使用 Re exion 模式(不满意→Writer 修改→再审→最多 3 轮) - 每步都记录到
LangSmith,便于调试和审计
Q185-Q190:更多系统设计题
Q185:设计一个AI 代码审查系统→架构:Git Webhook →获取di→分块(每个文件独立)→ LLM 逐文件审查→合并评论→发PR Comment。关键:控制di长度(超过500行分批)、设置审查维度(安全/性能/规
范)。
Q186:设计一个多模态 RAG 系统(支持图片+文档混合检索) → 文本走 BGE Embedding,图片走 CLIP Embedding,两路Embedding 对齐到同一向量空间。检索时用户查询同时在两个索引中检索,RRF融合。LLM
用多模态模型(GPT-4o)处理图片+文本上下文。
术语表一致性检查→质量评估→缓存。关键:维护一个领域术语表(技术文档的“API”不应翻译为“应用程序接口”)。
Q188:设计一个AI面试官系统→架构:简历解析→生成面试问题(基于岗位JD +简历)→多轮追问→评分 →生成面试报告。关键:追问逻辑(根据候选人回答的深度决定是否深挖)、评分一致性(用详细的评分维度和
锚定标准)。
Q189:设计一个AI 内容审核系统(日处理1000万条)→三级审核:①规则引擎(关键词/正则,处理70%)
- 小模型分类(BERT,处理 25%)③ LLM 精审(处理 5%)。成本控制:只有规则和小模型过不了的才上
LLM。
Q190:设计一个支持“时间旅行”的 Agent 调试平台 →基于 LangGraph Checkpointer。每步执行后保存完整 State 快照。提供 Web UI 让开发者:① 查看完整执行链路 ② 点击任意节点查看当时的 State ③ 从任意
checkpoint分叉重新执行。
Q191-Q195:架构权衡
Q191:微服务vs单体大模型应用怎么选?→初期用单体(一个FastAPI服务包含所有逻辑)。当团队> 5 人、QPS > 100 时,拆为微服务:API Gateway + RAG Service + Agent Service + Embedding Service +
Reranker Service。不要过早微服务化。
Q192:同步vs异步长任务怎么处理?→对话型(用户等回复)→同步SSE 流式输出。报告型(生成5分钟)→异步任务队列(Celery/RQ),前端轮询或WebSocket通知完成。
Q193:缓存策略怎么设计?→三层缓存:①精确缓存(相同问题直接返回,TTL 1小时)②语义缓存(相似问题用 Embedding 匹配,相似度 > 0.95 返回缓存)③ Prompt 前缀缓存(OpenAI/DeepSeek 的 Prompt
Caching)。
Q194:如何做数据隔离(多租户)?→向量数据库按Collection隔离(每个租户一个Collection);关系数据库按tenant_id字段隔离;API Key按租户独立管理。在查询时强制加tenant_id过滤条件。
Q195:大模型应用的灰度发布架构?→ API Gateway 按用户ID hash分流。5% →新版本,95% →旧版本。
监控新版本的质量指标(Faithfulness/Latency/Error Rate)48小时无异常后放量。
Q196-Q200:终极大题
Q196:如果你是CTO,如何从0到1搭建公司的AI能力中台?→分三步:① Phase 1(1-2月):选定基础设施(LangChain + LangGraph + Milvus + LangSmith),搭建RAG知识库验证价值。② Phase 2(3-6月):
开发通用 Agent 框架,支持业务团队快速接入。③ Phase 3(6-12月):微调专有模型,构建评估飞轮,建立 LLMOps体系。
Q197:如何评估一个大模型应用项目是否值得做? →四维评估:① 技术可行性(现有模型能力是否足够)② 数据可得性(有没有足够的领域数据)③商业价值(ROI是否正)④风险可控性(幻觉/安全/合规风险是否可接
受)。