第 12 卷
第七章:边缘部署、推理加速与LoRA 微调篇
(Q161-Q180)
不是所有场景都能用 API本地部署、推理优化和微调是高级面试的常见话题
Q161:vLLM是什么?为什么能比HuggingFace Transformers快3-5倍?
核心技术:PagedAttention(分页注意力)
| 维度 | HuggingFace | vLLM |
|---|---|---|
| KV Cache管理 | 预分配连续内存 | 分页管理(类虚拟内存) |
| 显存利用率 | 40-60% | 90%+ |
| 批处理 | 静态batch | 连续批处理(Continuous Batching) |
| 吞吐量(Llama-7B) | ~50 tokens/s | ~200 tokens/s |
| 并发请求 | 需排队 | 动态调度 |
PagedAttention 原理:把 KV Cache切成固定大小的“页”(类似操作系统的虚拟内存页),不需要连续内存。这样不同请求可以共享物理内存页,极大减少显存浪费。
Q162:本地部署大模型有哪些方案?怎么选?
| 方案 | 优势 | 劣势 | 适合 |
|---|---|---|---|
| vLLM | 最高吞吐、连续批处理 | 需要GPU | 生产首选 |
| Ollama | 极简安装、一行命令跑 | 性能一般 | 开发/个人 |
| llama.cpp | CPU也能跑、极致优化 | 功能有限 | 边缘/嵌入式 |
| TGI | HuggingFace官方、生态好 | 配置复杂 | HF重度用户 |
| SGLang | 极高并发、前沿优化 | 社区小 | 前沿研究 |
选型决策树:
有 GPU?
├── 是 → 生产环境?
│├── 是 → vLLM(高吞吐+连续批处理)
│└── 否 → Ollama(简单方便)
└── 否 → CPU 够强?
├── 是 → llama.cpp(CPU 推理优化)
└── 否 → 老实用云端 API 吧
Q163:量化(Quantization)是什么?Q4、Q8、FP16有什么区别?
| 精度 | 每参数占用 | 7B模型显存 | 速度 | 质量损失 |
|---|---|---|---|---|
| FP16 | 2字节 | 14 GB | 基线 | 0% |
| INT8 (Q8) | 1字节 | 7 GB | +20% | 1-2% |
| INT4 (Q4) | 0.5字节 | 3.5 GB | +40% | 3-5% |
| GPTQ | ~0.5字节 | 3.5 GB | +30% | 3-5% |
| AWQ | ~0.5字节 | 3.5 GB | +35% | 2-4% |
| GGUF (llama.cpp) | 可变 | 灵活 | CPU优化 | 3-8% |
| 面试标准答案:Q4量化将7B模型从14GB压缩到3.5GB(降低75%),质量损失仅3-5% | 几乎可以忽略。 |
这是在消费级GPU(RTX 3060 12GB)上运行大模型的关键技术。
Q164:什么是LoRA?和全参数微调有什么区别?
| 维度 | 全参数微调 | LoRA | QLoRA |
|---|---|---|---|
| 可训练参数量 | 100% | 0.1-1% | 0.1-1% |
| 显存需求(7B) | 60+ GB | 16 GB | 6 GB |
| 训练速度 | 慢 | 快3-5倍 | 快5-10倍 |
| 质量 | 最好 | 接近全参数 | 略低于LoRA |
| 适合 | 不差钱、追求极致 | 生产首选 | 显存有限 |
LoRA 原理(一句话):在每个 Transformer层旁边插入一个低秩矩阵(rank 8-64),只训练这个小矩阵,冻结原始大矩阵。效果接近全参数微调,但只需要训练万分之一的参数。
Q165:微调大模型需要多少数据?
| 任务 | 最少数据量 | 推荐数据量 | 数据质量要求 |
|---|---|---|---|
| 风格调整 | 50-100条 | 200-500条 | 高 |
| 领域知识注入 | 500-1000条 | 2000-5000条 | 高 |
| 分类任务 | 100-300条/类 | 500-1000条/类 | 中 |
| Function Calling | 200-500条 | 1000-3000条 | 极高 |
| 对话风格 | 100-300条 | 500-1000条 | 高 |
面试重点:数据质量比数量重要 10倍。100条精心标注的高质量数据 > 10000条自动生成的低质量数据。
Q166-Q170:微调深度
Q166:微调数据格式是什么样的?→ Chat格式(最常用):
{"messages": [
{"role": "system", "content": "你是金融分析师"},
{"role": "user", "content": "分析一下茅台Q3财报"},
{"role": "assistant", "content": "茅台Q3营收"}
]}
Q167:什么是“灾难性遗忘”?怎么避免?→微调后模型忘记了预训练时学到的通用能力。解决:①混入5- 10%的通用数据②降低学习率③用LoRA(只改少量参数)④评估时对比通用benchmark是否退化。
Q168:微调 vs RAG,什么时候用微调? → RAG 优先用于让模型“知道新知识”。微调用于改变模型的 “行为方式”(如输出格式、语气风格、推理模式)。如果用户说“我们要让模型知道公司文档内容”→ 用
RAG。如果说“我们要让模型用公文风格回答”→用微调。
Q169:如何评估微调效果?→三维度:①目标任务质量(微调后是否达标)②通用能力(是否灾难性遗忘)
③安全性(是否学到了有害模式)。建议准备100条验证集+ 50条通用测试集+ 20条安全测试集。
Q170:DPO 和PPO 有什么区别?→ PPO 需要单独训练一个Reward Model,然后用RL优化策略。DPO 直接用偏好数据(A比 B 好)优化策略,不需要 Reward Model。DPO 更简单、更稳定,是 2026年的主流对齐方
法。