参考-大模型面试题体系化整理

大模型面试题体系化整理

来源：GitHub Lau-Jonathan/LLM-Agent-Interview-Guide、chensi-cs/LLM-Interview-Guidebook、Junvate/LLM-Algorithm-Intern-Guide、engineersofai.com、小林面试笔记等 整理时间：2026-05-24

---

📋 备考路线

基础知识 → 推理优化 → 微调对齐 → RAG → Agent → 手撕代码 → 大厂真题

| 阶段 | 重点 | 建议时间 | |------|------|---------| | 基础夯实 | Transformer + 手撕代码 | 3-5 天 | | 核心强化 | 推理优化 + 微调 + RAG | 3-5 天 | | Agent 专项 | Agent 全部内容 | 2-3 天 | | 前沿热点 | MoE/DeepSeek + 安全评估 | 1-2 天 | | 模拟冲刺 | 大厂真题 + 系统设计 | 2-3 天 |

---

一、Transformer 架构基础

Q1: 为什么现代 LLM 都用 Decoder-Only 架构？

三个核心原因：

1. 简洁可扩展：Decoder-Only 只有一个统一的层堆叠，没有独立的 encoder 和 cross-attention，在 100B+ 参数规模下更易分片和优化
2. 统一训练目标：单一 next-token prediction 目标覆盖整个序列，encoder-decoder 需要去噪/seq2seq 目标，引入输入输出处理的不对称性
3. 涌现的通用性：翻译、摘要、问答、代码生成都能框架为"给定前缀，预测下一个 token"
4. 高效 KV Cache：自回归生成时只需缓存历史 token 的 KV，encoder-decoder 还需维护 encoder 表示和 cross-attention KV

追问：encoder-decoder 和 decoder-only 在 attention 计算上的区别？什么时候还会选 encoder-decoder？

Q2: Self-Attention 计算过程及复杂度

$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$

计算步骤：

1. 线性投影：$Q=X{W}_Q$, $K=X{W}_K$, $V=X{W}_V$
2. 注意力分数：$S=Q{K}^T/\sqrt{d_k}$
3. Softmax 归一化：$A=\text{softmax}(S)$
4. 加权求和：$\text{output}=AV$

为什么除以 $\sqrt{d_k}$？ 防止点积值过大导致 softmax 梯度消失。当 $d_k$ 较大时，$Q{K}^T$ 的方差为 $d_k$，除以 $\sqrt{d_k}$ 使方差归一化为 1。

复杂度：$O(n^2\cdot d)$，其中 $n$ 为序列长度，$d$ 为维度。这是 Transformer 的主要瓶颈。

Q3: Multi-Head Attention 为什么用多头而不是一个大的？

将注意力拆成 $h$ 个并行头，每个在低维子空间操作：

${\text{head}}_i=\text{Attention}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$ $\text{MultiHead}(Q,K,V)=\text{Concat}({\text{head}}_1,...,{\text{head}}_h)W^O$

关键点：

• 多样性：不同头学习不同模式（句法关系、语义相似、位置邻近）
• 零额外计算：$h$ 个 $d/h$ 维头的总 FLOP 和 1 个 $d$ 维头完全相同
• 典型配置：GPT-3 用 96 头 (d=12288)，LLaMA 3 70B 用 64 头 (d=8192)

Q4: MHA vs MQA vs GQA vs MLA

| 方案 | KV 头数 | 特点 | 代表模型 | |------|--------|------|---------| | MHA | $h$（与 Q 相同） | 质量最高，KV Cache 最大 | GPT-3 | | MQA | 1 | KV Cache 最小，质量损失明显 | PaLM | | GQA | $g$（$1<g<h$） | 折中方案，多组 Q 共享 KV | LLaMA 2/3, Qwen | | MLA | 压缩到低维潜空间 | KV 压缩 90%+，保持性能 | DeepSeek-V2/V3 |

GQA 原理：Q 有 $H$ 个头，K/V 只有 $G$ 个头（$G<H$），多组 Q 共享同一组 K/V。K/V 通过 repeat_kv 扩展到与 Q 相同头数。

MLA 原理（DeepSeek-V2 提出）：

• KV 通过下投影压缩到潜空间（存入 Cache）：$c_{KV}=W_{DKV}\cdot h_t$
• 计算注意力时上投影恢复：$[k_t,v_t]=W_{UKV}\cdot c_{KV}$
• 不是减少头数，而是降维压缩

Q5: 位置编码 — RoPE 旋转位置编码

为什么需要位置编码？ Transformer 并行处理 token，本身没有位置感知。

RoPE 原理：

• 通过旋转矩阵将位置信息编码到 Q 和 K 中
• 对维度 $(d_{2i},d_{2i+1})$，施加角度为 ${\theta }_i\cdot \text{position}$ 的旋转
• Q 和 K 的点积自然变成相对位置的函数
• 基础频率 $\theta =10000$

对比：

| 方案 | 外推性 | 表达力 | 代表模型 | |------|--------|--------|---------| | Learned absolute | ❌ 固定长度 | 中 | GPT-2 | | RoPE | ✅ 配合 NTK/YaRN | 高 | LLaMA, Qwen, Mistral | | ALiBi | ✅ 线性偏置 | 低 | BLOOM, MPT |

RoPE 的优势：编码的是相对位置关系，天然支持长度外推。

Q6: RMSNorm 为什么替代了 LayerNorm？

$\text{LayerNorm}(x)=\gamma \cdot \frac{x-\mu }{\sqrt{{\sigma }^2+ϵ}}+\beta$ $\text{RMSNorm}(x)=\gamma \cdot \frac{x}{\sqrt{\text{mean}(x^2)+ϵ}}$

RMSNorm 胜出的原因：

• 去掉均值计算，少一次 reduce 操作
• 实证质量相当（LLaMA 技术报告验证）
• 去掉 bias 参数 $\beta$，更简洁
• 现代 LLM 用 pre-norm，均值中心化不那么重要

Q7: SwiGLU 为什么替代了 ReLU FFN？

$\text{FFN}(x)=W_2\cdot \text{ReLU}(W_{1}x)$ $\text{SwiGLU}(x)=(W_{1}x\cdot \text{SiLU}(W_{\text{gate}}x))\cdot W_2$

其中 $\text{SiLU}(x)=x\cdot \sigma (x)$（Swish 激活）

优势：

• 门控机制允许选择性传递/抑制信息
• SiLU 处处平滑（ReLU 在 0 处有折点）
• PaLM/LLaMA 实证一致优于 ReLU 和 GELU

维度细节：SwiGLU 有 3 个权重矩阵，为保持参数量可比，$d_{ff}$ 从 $4d$ 降至 $\frac{8}{3}d$（取 256 的倍数）。

Q8: 如何手算 Transformer 模型参数量？

以 LLaMA 3 70B 为例（$L=80,d=8192,h=64,n_{kv}=8,d_k=128,d_{ff}=28672,V=128256$）：

每层参数：

• Attention: $d^2+2\cdot d\cdot n_{kv}\cdot d_k+d^2\approx 151\text{M}$
• FFN (SwiGLU): $3\cdot d\cdot d_{ff}\approx 704\text{M}$
• 每层总计: $\approx 855\text{M}$

全局参数：

• 所有层: $80\times 855\text{M}\approx 68.4\text{B}$
• Embedding: $128256\times 8192\approx 1.05\text{B}$
• 总计: ≈70.5B ✅

---

二、推理优化

Q9: KV Cache 原理及显存计算

自回归生成时，第 $t$ 步需要对所有 $\mathrm{1...}t$ 个 token 做 attention。KV Cache 存储历史 token 的 K/V，避免重复计算。

显存计算公式： $\text{KV Cache}=2\times L\times d_{model}\times s\times b\times \text{bytes\_per\_element}$

LLaMA 3 70B 示例（fp16, 8K 序列, batch=1）：

• 全量 MHA: $\approx 21.5$ GB
• GQA (8 KV 头): $\approx 2.7$ GB（降低 8 倍）

关键洞察：KV Cache 往往是推理的内存瓶颈，不是模型权重。128K+ 长上下文模型中 KV Cache 可超过权重内存。

Q10: Flash Attention 原理

问题：标准 attention 需要 $O(n^2)$ 内存存储完整注意力矩阵。

核心思想：

• 分块计算（tiling）：将 Q、K、V 切成小块，在 SRAM（高速缓存）中计算
• 避免在 HBM（显存）中存储完整 $n\times n$ 注意力矩阵
• 在线 softmax：通过分块维护 running max 和 running sum

效果：内存从 $O(n^2)$ 降至 $O(n)$，实际加速 2-4 倍。已成为训练和推理的标配。

Q11: 解码策略对比

| 策略 | 原理 | 优点 | 缺点 | |------|------|------|------| | Greedy | 每步选概率最高的 token | 确定性、快 | 重复、缺乏多样性 | | Beam Search | 维护 top-k 候选序列 | 比贪心好 | LLM 不常用（成本高） | | Top-K | 从概率最高的 K 个中采样 | 控制候选范围 | K 值难以确定 | | Top-P (Nucleus) | 从累积概率 ≥ P 的最小集合中采样 | 自适应候选数 | 需调 P | | Temperature | $\text{logits}/T$ | 控制随机性 | T→0 退化为贪心 |

为什么 LLM 不用 Beam Search？ 因为对话式生成需要多样性，且 beam search 在长序列上计算成本高。采样策略更适合开放式生成。

Q12: 模型量化（INT4/INT8/GPTQ/AWQ）

| 方法 | 原理 | 精度损失 | 速度 | |------|------|---------|------| | FP16 → INT8 (PTQ) | 训练后直接量化 | 小 | 2x 推理加速 | | FP16 → INT4 (GPTQ) | 基于二阶信息的逐层量化 | 中 | 推理快 + 显存省 4x | | FP16 → INT4 (AWQ) | 保护重要权重（salient weights）的量化 | 较小 | 比 GPTQ 更快 | | QLoRA (NF4) | 4-bit NormalFloat 量化 + LoRA 微调 | 微调时最小 | 训练用 |

显存估算：7B 模型 FP16 ≈ 14GB，INT4 ≈ 3.5GB。

Q13: Speculative Decoding 投机解码

核心思想：用一个小模型（draft model）快速生成多个候选 token，大模型（verifier）一次性并行验证。

流程：

1. 小模型自回归生成 $k$ 个 token
2. 大模型一次前向传播验证所有 $k$ 个 token
3. 接受匹配的 token，拒绝不匹配的从断点重新生成

加速效果：2-3x，生成质量与原始大模型完全一致（无损加速）。

Q14: MoE 稀疏专家模型（DeepSeek V3）

核心问题：如何在不增加推理成本的情况下扩大参数规模？

MoE 原理：

• 每个 token 只激活部分专家（如 256 个专家中激活 8 个）
• Router 网络决定每个 token 路由到哪些专家
• DeepSeek V3: 671B 总参数，但每次推理只激活 37B

关键创新（DeepSeek V3）：

• 无辅助损失负载均衡（auxiliary-loss-free load balancing）
• 避免传统 MoE 的负载不均衡问题

---

三、微调与对齐

Q15: LoRA 原理及秩的选择

核心思想：冻结预训练权重 $W_0$，插入低秩分解的可训练矩阵：

$h=W_{0}x+\Delta Wx=W_{0}x+BAx$

其中 $B\in {\mathbb{R}}^{d\times r}$, $A\in {\mathbb{R}}^{r\times k}$，典型 $r=8/16$。

初始化：$A$ 高斯随机初始化，$B$ 全零初始化 → 训练开始时 $\Delta W=BA=0$，模型行为与原始一致。

秩的选择：

• $r=4-8$：简单任务（风格适配、格式化）
• $r=16-32$：中等任务（领域适配）
• $r=64+$：复杂任务（新能力学习）

参数量减少：以 $d=4096,r=8$ 为例，原始 $4096\times 4096=16.7\text{M}$ → LoRA $2\times 4096\times 8=65\text{K}$，减少 99.6%。

Q16: QLoRA 核心技术

在 LoRA 基础上增加三重优化：

1. NF4 量化：4-bit NormalFloat，信息论最优的量化数据类型
2. 双重量化：对量化常数再做一次量化，进一步省显存
3. 分页优化器：利用 CPU 内存处理梯度检查点显存峰值

效果：在单张 48GB GPU 上微调 65B 模型。

Q17: RLHF 三阶段

1. SFT（有监督微调）：用高质量指令-回答对微调预训练模型
2. RM（奖励模型训练）：训练一个评判回答好坏的模型
   • 输入：prompt + response
   • 输出：标量分数
   • 数据：人类偏好的成对比较
   • 损失函数（Bradley-Terry 模型）：$\mathcal{L}=-\log \sigma (r(x,y_w)-r(x,y_l))$
3. PPO 优化：用 RM 作为奖励信号优化 SFT 模型
   • PPO 的作用：限制策略更新幅度，保证训练稳定
   • KL 散度惩罚：防止模型偏离参考模型太远（避免 reward hacking）

Q18: PPO vs DPO vs GRPO 对比（🔥 高频考点）

| | PPO | DPO | GRPO | |---|---|---|---| | 是否需要 RM | ✅ 需要独立 RM | ❌ 不需要 | ❌ 不需要 | | 是否需要 Critic | ✅ Value Model | ❌ | ❌ | | 训练方式 | On-policy RL | Off-policy，直接从偏好数据学 | On-policy，组内相对排名 | | 稳定性 | 低（4 个模型） | 高（只有 policy） | 中（比 PPO 简单） | | 核心公式 | PPO clip + KL 惩罚 | ${\mathcal{L}}_{DPO}=-\log \sigma (\beta \log \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{ref}(y_w|x)}-\beta \log \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{ref}(y_l|x)})$ | 组内奖励归一化 + 策略梯度 | | 代表 | InstructGPT | 原论文 2023 | DeepSeek-R1 |

GRPO 为什么火？ DeepSeek-R1 用 GRPO 实现纯 RL 训练的推理能力涌现，砍掉 Value Model，用组内归一化代替 baseline，大幅简化训练流程。

Q19: 灾难性遗忘及解决方案

问题：微调新任务时，模型遗忘之前学到的知识。

解决方案：

• Replay：混合部分旧数据一起训练
• Freeze：冻结部分层（如底层）
• LoRA/PEFT：只训练少量参数，天然缓解遗忘
• EWC：给重要参数加正则化

---

四、RAG 检索增强生成

Q20: RAG 全流程

文档 → 分块 → Embedding → 向量数据库
                           ↓
查询 → Embedding → 相似度检索 → 重排 → 拼接 Prompt → LLM 生成

七大阶段：

1. 数据摄入：收集和预处理文档
2. 分块（Chunking）：切分为 manageable 段落（太短无上下文，太长稀释相关性）
3. Embedding 生成：将文本转为向量表示
4. 向量存储：存入向量数据库（Pinecone, Qdrant, pgvector）
5. 检索：基于查询向量找相关块
6. 重排（Reranking）：Cross-encoder 精排
7. 增强生成：将检索结果拼入 Prompt，LLM 生成回答

Q21: RAG 评估指标

| 层面 | 指标 | 含义 | |------|------|------| | 检索质量 | Recall@K | 前K个结果中有多少相关文档被召回 | | | Precision@K | 前K个结果中有多少是相关的 | | | MRR | 第一个相关结果的排名倒数的均值 | | | NDCG | 考虑位置和分级相关性的指标 | | 生成质量 | Faithfulness | 回答是否只基于检索到的上下文（检测幻觉） | | | Relevancy | 回答是否针对用户问题 | | 端到端 | 用户满意度 | 最终业务指标 |

Q22: "Lost in the Middle" 问题

现象：LLM 对上下文中间部分的信息利用率显著低于开头和结尾。

缓解方案：

• 检索结果重排：最相关的放首尾
• 多次检索 + 迭代生成
• 压缩上下文（去除无关部分）

Q23: 知识图谱增强 RAG

• 将结构化知识图谱与向量检索结合
• 图谱提供实体关系，弥补纯语义检索的逻辑推理缺陷
• 微软 GraphRAG：用 LLM 构建知识图谱 + 社区检测 + 全局摘要

---

五、Agent 智能体

Q24: ReAct 框架

Reason + Act 范式，Agent 的经典架构：

Thought: 我需要查找当前天气
Action: search("深圳今天天气")
Observation: 晴，28°C
Thought: 现在我可以回答了
Answer: 深圳今天晴，气温28°C

核心循环：思考 → 行动 → 观察 → 思考 → ...

Q25: Function Calling vs MCP 对比

| | Function Calling | MCP (Model Context Protocol) | |---|---|---| | 定义者 | 各模型厂商自行定义 | Anthropic 提出的开放协议 | | 范围 | 单次调用，绑定模型 | 统一协议，跨模型跨平台 | | 工具发现 | 每次请求传入工具描述 | 服务器主动暴露能力 | | 状态 | 无状态 | 支持有状态会话 | | 生态 | OpenAI/Google 等各不相同 | 越来越多工具支持 |

Q26: Agent 记忆系统设计

三层记忆架构：

| 层级 | 类型 | 机制 | 类比 | |------|------|------|------| | 短期 | 工作记忆 | 当前对话上下文 | 工作记忆 | | 中期 | 情景记忆 | 会话摘要/关键事件 | 近期经历 | | 长期 | 语义记忆 | 向量数据库/知识图谱 | 长期知识 |

实现方案：

• MemGPT：虚拟上下文管理，自动分页
• LangChain Memory：内置多种记忆类型
• 向量存储 + 摘要：用 embedding 检索相关历史

Q27: 多智能体协作架构

| 模式 | 描述 | 适用场景 | |------|------|---------| | 串行流水线 | A → B → C 依次处理 | 多步骤复杂任务 | | 并行分发 | 多个 Agent 同时工作 | 独立子任务 | | 主从模式 | 主 Agent 分配任务给子 Agent | 任务编排 | | 辩论模式 | 多 Agent 讨论达成共识 | 需要多角度评估 | | 层级模式 | Manager → Sub-managers → Workers | 大规模任务分解 |

---

六、安全与评估

Q28: 大模型幻觉问题

定义：模型生成看似合理但事实错误的内容。

类型：

• 事实性幻觉：编造不存在的事实
• 忠实性幻觉：回答与检索上下文矛盾
• 推理幻觉：逻辑链条中引入错误中间结论

缓解方案：

1. RAG：用外部知识约束生成
2. Chain-of-Thought：让模型展示推理过程，便于人类检查
3. 对齐训练：RLHF/DPO 让模型学会说"不知道"
4. 自验证（Self-Check）：让模型检查自己的回答
5. 温度调低：降低随机性减少编造

Q29: 安全对齐

核心目标：让模型行为符合人类价值观（有用、诚实、无害，即 HHH）。

主要威胁：

• Prompt Injection（提示注入）
• Jailbreak（越狱）
• 数据泄露
• 有害内容生成

防御手段：

• 系统提示 + 输入过滤 + 输出过滤
• Constitutional AI（自我修正）
• 红队测试（Red Teaming）

Q30: 模型评估体系

| 维度 | 指标/基准 | 说明 | |------|----------|------| | 通用能力 | MMLU, HellaSwag | 多任务理解 | | 推理 | GSM8K, MATH | 数学推理 | | 代码 | HumanEval, MBPP | 代码生成 | | 长上下文 | Needle-in-Haystack | 长文本检索 | | 对齐 | MT-Bench, AlpacaEval | 人类偏好对齐 | | 安全 | TruthfulQA, ToxiGen | 安全性评估 |

---

七、前沿热点（2025-2026）

Q31: DeepSeek 系列架构创新

DeepSeek-V3（2024）：

• MoE 架构：671B 总参数，37B 激活
• MLA（多头潜在注意力）：KV Cache 压缩 90%+
• 无辅助损失负载均衡
• FP8 混合精度训练

DeepSeek-R1（2025）：

• 用 GRPO 实现纯 RL 训练的推理能力涌现
• 冷启动 SFT → RL → 拒绝采样 → 二次 RL
• 推理链自然涌现（CoT without explicit CoT training）

Q32: Scaling Law

Kaplan (OpenAI, 2020)：$L(N)\sim N^{-0.076}$，参数比数据更重要 Chinchilla (DeepMind, 2022)：$D\approx 20N$，参数和数据等比缩放

实战趋势：

• LLaMA 3 (8B, 15T tokens): $D/N\approx 1875$，极端过训练，推理成本极低
• 推理最优：小模型 + 多数据 > 大模型 + 少数据

Q33: 推理模型（Reasoning Models）

趋势：从直接生成答案 → 生成思维链 → 专门的推理模型

• OpenAI o1/o3：慢思考，用更多推理 token 换更高质量
• DeepSeek-R1：GRPO 训练，推理能力涌现
• Qwen3：Thinking Budget，可控制推理深度

核心 trade-off：推理 token 消耗 vs 回答质量

---

八、手撕代码清单

面试中需要能手写的核心实现：

| 题目 | 核心点 | |------|--------| | Self-Attention | Q/K/V 投影 + 缩放点积 + softmax | | Multi-Head Attention | 拆头 + 并行 + concat + 输出投影 | | GQA | repeat_kv + 共享 KV | | RoPE | 旋转矩阵 + 复数形式 | | LoRA Forward | $y=W_{0}x+\alpha /r\cdot BAx$ | | BPE 分词 | 字节对编码，贪心合并最高频对 | | Beam Search | 维护 top-k 序列 + log 概率累加 | | RMSNorm | $x/\sqrt{\text{mean}(x^2)+ϵ}$ | | SwiGLU FFN | $W_2\cdot (W_{1}x\odot \text{SiLU}(W_{g}x))$ | | DPO Loss | Bradley-Terry 偏好损失 | | GRPO Loss | 组内优势归一化 + 策略梯度 | | SFT Loss | 交叉熵（只对回答部分计算） |

---

九、系统设计题

SD1: 设计一个 RAG 问答系统（百万级文档）

架构：

• 文档处理管线：解析 → 分块 → Embedding → 向量库
• 检索：混合检索（稠密 + 稀疏 BM25）
• 重排：Cross-encoder 精排
• 生成：RAG Prompt + LLM
• 缓存：语义缓存（相似问题直接返回）

SD2: 设计一个大模型推理服务

关键组件：

• 模型加载与量化
• KV Cache 管理（PagedAttention / vLLM）
• 批处理（continuous batching）
• 负载均衡 + 自动扩缩容
• 监控（TTFT、吞吐量、延迟）

框架选择：

• vLLM：PagedAttention，吞吐量优先
• SGLang：多轮对话场景更省显存
• TensorRT-LLM：NVIDIA 优化，延迟优先

---

十、字节跳动 Top 20 高频面试题

基于 2025-2026 年牛客网真实面经整理

| 排名 | 题目 | 频率 | |------|------|------| | 1 | GRPO 原理，与 PPO/DPO 的区别 | ⭐⭐⭐⭐⭐ | | 2 | Self-Attention 计算过程及复杂度 | ⭐⭐⭐⭐⭐ | | 3 | KV Cache 原理及显存计算 | ⭐⭐⭐⭐⭐ | | 4 | 手写 Self-Attention / Multi-Head Attention | ⭐⭐⭐⭐⭐ | | 5 | LoRA / QLoRA 原理及秩的选择 | ⭐⭐⭐⭐ | | 6 | PPO 四个组件及训练流程 | ⭐⭐⭐⭐ | | 7 | RAG 全流程及优化方案 | ⭐⭐⭐⭐ | | 8 | Agent 记忆系统设计 | ⭐⭐⭐⭐ | | 9 | MCP 协议原理，与 Function Calling 对比 | ⭐⭐⭐⭐ | | 10 | Flash Attention 原理 | ⭐⭐⭐⭐ | | 11 | ReAct 框架原理及实现 | ⭐⭐⭐⭐ | | 12 | BPE / WordPiece 分词算法 | ⭐⭐⭐ | | 13 | RoPE 旋转位置编码原理 | ⭐⭐⭐ | | 14 | MoE 稀疏专家模型原理 | ⭐⭐⭐ | | 15 | DeepSeek 系列模型架构创新 | ⭐⭐⭐ | | 16 | 模型量化 (INT8/INT4/GPTQ/AWQ) | ⭐⭐⭐ | | 17 | DPO 数学推导 | ⭐⭐⭐ | | 18 | 大模型幻觉问题与缓解方案 | ⭐⭐⭐ | | 19 | Speculative Decoding 投机解码 | ⭐⭐⭐ | | 20 | 多智能体协作架构设计 | ⭐⭐⭐ |

---

参考资料

GitHub 仓库

• Lau-Jonathan/LLM-Agent-Interview-Guide — 300+ 题，10 模块，11 场字节面经
• chensi-cs/LLM-Interview-Guidebook — 面向算法工程师的面试宝典
• Junvate/LLM-Algorithm-Intern-Guide — 2026 届实习面经，含 DeepSeek 解析
• ckd0817/LLM-Interview-Code — 手撕代码实现（MHA/GQA/MLA/LoRA/Loss）
• ljluestc/llm_interview_note — 含 tiny-llm-zh、tiny-rag 等实践项目

在线资源

• engineersofai.com - LLM Interview Questions — 50+ 题带详细答案和追问
• 小林面试笔记 — 按主线组织的面试题体系
• InterviewBit LLM Questions — 英文，覆盖 RAG/部署/Agent

经典论文

• Attention Is All You Need (2017)
• BERT (2018)
• GPT-3 (2020)
• InstructGPT / RLHF (2022)
• Chinchilla Scaling Laws (2022)
• LLaMA (2023)
• DPO (2023)
• Flash Attention (2023)
• DeepSeek-V3 (2024)
• GRPO / DeepSeek-R1 (2025)