← 返回目录

第 12 卷

第 12 / 15 卷日期:

第七章:边缘部署、推理加速与LoRA 微调篇

(Q161-Q180)

不是所有场景都能用 API本地部署、推理优化和微调是高级面试的常见话题

Q161:vLLM是什么?为什么能比HuggingFace Transformers快3-5倍?

核心技术:PagedAttention(分页注意力)

维度HuggingFacevLLM
KV Cache管理预分配连续内存分页管理(类虚拟内存)
显存利用率40-60%90%+
批处理静态batch连续批处理(Continuous Batching)
吞吐量(Llama-7B)~50 tokens/s~200 tokens/s
并发请求需排队动态调度

PagedAttention 原理:把 KV Cache切成固定大小的“页”(类似操作系统的虚拟内存页),不需要连续内存。这样不同请求可以共享物理内存页,极大减少显存浪费。

Q162:本地部署大模型有哪些方案?怎么选?

方案优势劣势适合
vLLM最高吞吐、连续批处理需要GPU生产首选
Ollama极简安装、一行命令跑性能一般开发/个人
llama.cppCPU也能跑、极致优化功能有限边缘/嵌入式
TGIHuggingFace官方、生态好配置复杂HF重度用户
SGLang极高并发、前沿优化社区小前沿研究

选型决策树:

有 GPU?

├── 是 → 生产环境?

│├── 是 → vLLM(高吞吐+连续批处理)

│└── 否 → Ollama(简单方便)

└── 否 → CPU 够强?

├── 是 → llama.cpp(CPU 推理优化)

└── 否 → 老实用云端 API 吧

Q163:量化(Quantization)是什么?Q4、Q8、FP16有什么区别?

精度每参数占用7B模型显存速度质量损失
FP162字节14 GB基线0%
INT8 (Q8)1字节7 GB+20%1-2%
INT4 (Q4)0.5字节3.5 GB+40%3-5%
GPTQ~0.5字节3.5 GB+30%3-5%
AWQ~0.5字节3.5 GB+35%2-4%
GGUF (llama.cpp)可变灵活CPU优化3-8%
面试标准答案:Q4量化将7B模型从14GB压缩到3.5GB(降低75%),质量损失仅3-5%几乎可以忽略。

这是在消费级GPU(RTX 3060 12GB)上运行大模型的关键技术。

Q164:什么是LoRA?和全参数微调有什么区别?

维度全参数微调LoRAQLoRA
可训练参数量100%0.1-1%0.1-1%
显存需求(7B)60+ GB16 GB6 GB
训练速度慢快3-5倍快5-10倍
质量最好接近全参数略低于LoRA
适合不差钱、追求极致生产首选显存有限

LoRA 原理(一句话):在每个 Transformer层旁边插入一个低秩矩阵(rank 8-64),只训练这个小矩阵,冻结原始大矩阵。效果接近全参数微调,但只需要训练万分之一的参数。

Q165:微调大模型需要多少数据?

任务最少数据量推荐数据量数据质量要求
风格调整50-100条200-500条高
领域知识注入500-1000条2000-5000条高
分类任务100-300条/类500-1000条/类中
Function Calling200-500条1000-3000条极高
对话风格100-300条500-1000条高

面试重点:数据质量比数量重要 10倍。100条精心标注的高质量数据 > 10000条自动生成的低质量数据。

Q166-Q170:微调深度

Q166:微调数据格式是什么样的?→ Chat格式(最常用):

{"messages": [

{"role": "system", "content": "你是金融分析师"},

{"role": "user", "content": "分析一下茅台Q3财报"},

{"role": "assistant", "content": "茅台Q3营收"}

]}

Q167:什么是“灾难性遗忘”?怎么避免?→微调后模型忘记了预训练时学到的通用能力。解决:①混入5- 10%的通用数据②降低学习率③用LoRA(只改少量参数)④评估时对比通用benchmark是否退化。

Q168:微调 vs RAG,什么时候用微调? → RAG 优先用于让模型“知道新知识”。微调用于改变模型的 “行为方式”(如输出格式、语气风格、推理模式)。如果用户说“我们要让模型知道公司文档内容”→ 用

RAG。如果说“我们要让模型用公文风格回答”→用微调。

Q169:如何评估微调效果?→三维度:①目标任务质量(微调后是否达标)②通用能力(是否灾难性遗忘)

③安全性(是否学到了有害模式)。建议准备100条验证集+ 50条通用测试集+ 20条安全测试集。

Q170:DPO 和PPO 有什么区别?→ PPO 需要单独训练一个Reward Model,然后用RL优化策略。DPO 直接用偏好数据(A比 B 好)优化策略,不需要 Reward Model。DPO 更简单、更稳定,是 2026年的主流对齐方

法。

全站分卷索引 · 15 卷
  1. 1第 1 卷
  2. 2第 2 卷
  3. 3第 3 卷
  4. 4第 4 卷
  5. 5第 5 卷
  6. 6第 6 卷
  7. 7第 7 卷
  8. 8第 8 卷
  9. 9第 9 卷
  10. 10第 10 卷
  11. 11第 11 卷
  12. 12第 12 卷
  13. 13第 13 卷
  14. 14第 14 卷
  15. 15第 15 卷