📚 喵喵的笔记库

大模型原理与技术基础

21分钟阅读

大模型原理与技术基础

整理自读书笔记精华，覆盖大模型的核心原理、架构演进、训练方法与优化技术。

来源书目：

  • 《大模型技术30讲》— 塞巴斯蒂安·拉施卡
  • 《图解大模型：生成式AI原理与实战》— 杰伊·阿拉马尔、马斯滕·格鲁滕多斯特
  • 《实战AI大模型》— 尤洋
  • 《从零构建大模型》— 塞巴斯蒂安·拉施卡
  • 《AI大模型必知必会》— 谢浩
  • 《Agent设计模式》— 黄佳
  • 《大模型应用开发极简入门》— 卡埃朗
  • 《LangChain与企业级LLM服务》— 唐文
  • 《AIDevOps》— 吴文峻

一、核心架构：Transformer

Transformer 是当前所有主流大模型的底层引擎（2017 年 Google 提出）。它的核心思想是用自注意力机制替代 RNN 的序列依赖，支持并行计算且能直接捕获任意距离的依赖关系。

自注意力机制

本质是"加权求和"——处理每个 token 时，动态决定该"看"序列中哪些位置。

Attention(Q, K, V) = softmax(QK^T / √d_k) · V
  • Q（Query）：当前 token 在"找什么"
  • K（Key）：每个 token "有什么特征"
  • V（Value）：每个 token 的"实际内容"
  • √d_k：缩放因子，防止点积过大导致 softmax 梯度消失

多头注意力（Multi-Head Attention）让多组 Q/K/V 并行计算，捕获不同层面的依赖（语法、语义、位置等）。

直觉：在"把桌上的苹果吃了，因为它很甜"中，"它"会高度关注"苹果"而不是"桌子"。这就是注意力权重的含义。（来源：《从零构建大模型》）

Transformer Block

每个 Block 的标准结构：

输入 → LayerNorm → 多头注意力 → 残差连接 → LayerNorm → FFN → 残差连接
  • FFN（前馈网络）：线性层 → GELU 激活 → 线性层
  • 残差连接：将输入直接加到输出上，防止深层网络梯度消失

因果掩码（Causal Mask）

GPT 的关键设计：用下三角矩阵把未来位置遮住，确保模型只能看到当前位置及之前的内容。训练时不偷看未来，推理时本就没有未来。

位置编码

自注意力本身没有位置信息，需要额外注入：

| 方式 | 说明 | 适用模型 | |------|------|---------| | 正弦/余弦编码 | 原始 Transformer，固定编码 | 原始 Transformer | | 可学习位置编码 | 参数可训练 | BERT、GPT | | RoPE（旋转位置编码） | 外推性更好 | LLaMA 等新模型 | | 相对位置编码 | 编码相对距离 | 部分对话模型 |

层归一化

| 方式 | 特点 | 适用 | |------|------|------| | Post-LN | Transformer 原始方案 | 浅层模型 | | Pre-LN | 归一化在注意力之前，训练稳定 | 深层模型（主流） | | DeepNorm | 结合两者优点，需特殊初始化 | 超深模型 |

（来源：《实战AI大模型》尤洋）

二、两条路线：GPT vs BERT

所有现代大模型都源于同一个 Transformer 架构，但走了完全不同的路：

| 维度 | GPT（生成式） | BERT（理解式） | |------|--------------|--------------| | 架构 | Decoder-only | Encoder-only | | 训练目标 | 预测下一个 token | 遮蔽语言建模（MLM） | | 方向 | 从左到右，单向 | 双向，同时利用上下文 | | 典型任务 | 文本生成、对话 | 分类、NER、问答 | | 代表模型 | GPT-4、LLaMA、Qwen | BERT、RoBERTa、DeBERTa |

ChatGPT 属于 GPT 这条线，本质上是一个文本生成器。（来源：《从零构建大模型》）

GPT 系列演进

| 模型 | 参数量 | 关键突破 | |------|--------|---------| | GPT-1 | 1.17 亿 | 验证"生成式预训练 + 判别式微调"范式 | | GPT-2 | 15 亿 | 零样本学习，展示规模涌现 | | GPT-3 | 1750 亿 | 少样本学习（In-Context Learning），无需微调 |

涌现能力（Emergent Abilities）

模型规模达到一定阈值后突然出现的能力：少样本推理、链式思维（CoT）、代码生成、数学推理。（来源：《实战AI大模型》）

三、模型训练全流程

阶段 1：预训练（Pre-training）

在 TB 级无标签文本上做"预测下一个词"（自监督学习）。GPT 的预训练目标非常简单：给一段文本的前半部分，预测下一个词。

  • 损失函数：交叉熵，只计算预测位置（最后一个 token）的损失
  • 训练监控：loss 曲线——不降可能是学习率太大或数据有问题；降了但质量差可能过拟合或词表太小

预训练后的大模型就像一个博览群书但不懂社交规则的孩子——它知道很多，但不知道如何与人类有效沟通。（来源：《从零构建大模型》）

阶段 2：监督微调（SFT / Instruction Tuning）

用"指令-回答"对训练模型，让它学会遵循人类意图。这是从"续写机器"变成"对话助手"的关键一步。

输入：请用一句话介绍北京
输出：北京是中国的首都，有着三千多年的建城历史。

阶段 3：对齐（Alignment / RLHF）

用人类偏好数据训练奖励模型，再用强化学习（PPO）优化模型行为，让输出有用、诚实、无害。

| 组件 | 作用 | |------|------| | SFT 模型 | 初始化策略 | | 奖励模型 | 模拟人类偏好 | | PPO 算法 | 近端策略优化，稳定训练 | | KL 惩罚 | 防止偏离原始分布太远 |

四、分布式训练

训练大模型的核心挑战：计算量爆炸 + 显存墙 + 通信瓶颈。

以 GPT-3（1750 亿参数）为例，训练所需显存约 2100GB（模型参数 FP16 350GB + 梯度 FP16 350GB + Adam 优化器 FP32 1400GB），远超任何单卡容量。

并行策略决策树

模型能塞进单卡？
├── 是 → 单卡训练 + 混合精度
└── 否 → 数据能分片？
    ├── 是 → 数据并行（PyTorch DDP）
    └── 否 → 通信太慢？
        ├── 是 → ZeRO 优化（DeepSpeed）
        └── 否 → 张量并行 / 流水线并行

三大并行策略对比

| 策略 | 原理 | 通信量 | 适合场景 | |------|------|--------|---------| | 数据并行 | 数据分片，模型复制 | 梯度同步 | 模型能放进单卡 | | 张量并行 | 矩阵运算分片到多卡 | 前向+反向通信 | 模型太大放不进单卡 | | 流水线并行 | 模型的不同层放不同卡 | 层间激活传递 | 超深层模型 |

实践：几乎不会只用一种并行策略，而是组合使用：

数据并行（外层） × 流水线并行（中层） × 张量并行（内层）

示例：512 张 GPU 训练千亿参数模型（8 张张量并行 × 4 流水线阶段 × 16 数据并行副本）。

（来源：《实战AI大模型》尤洋）

ZeRO（零冗余优化器）

| 阶段 | 优化内容 | 显存节省 | |------|---------|---------| | ZeRO-1 | 分片优化器状态 | ~4x | | ZeRO-2 | 分片梯度 | ~8x | | ZeRO-3 | 分片参数 | 与 GPU 数量线性相关 |

异构计算

GPU（快速计算）+ CPU（大容量存储）+ NVMe（超大容量）
    ↓
ZeRO-Offload：优化器状态放 CPU
NVMe-Offload：参数和激活放 NVMe
    ↓
用速度换容量，实现超大模型训练

五、模型优化技术

量化

降低模型参数数值精度，用可接受的精度损失换取可观的成本下降。

| 量化方式 | 显存节省 | 精度损失 | 推理速度 | |----------|---------|---------|---------| | FP16（无量化） | 基准 | 无 | 基准 | | INT8 量化 | ~50% | 极小 | 略快 | | INT4 量化 | ~75% | 小幅 | 明显更快 | | 1-2bit 极端量化 | ~90% | 较大 | 最快 |

推荐工具：AWQ（Activation-aware Weight Quantization）——根据激活值分布决定哪些权重保留高精度，同等量化级别下保留更好的模型能力。

量化到 INT4 后，模型大小减少 75%，推理速度提升 2-3 倍，而输出质量下降通常不超过 1-2%。（来源：《AI工程大模型应用开发实战》奇普萱）

KV Cache

推理过程中缓存已计算的注意力矩阵，避免重复计算。但显存占用随序列长度线性增长，长对话场景容易 OOM。KV Cache 量化（FP16→INT8）可再省一半显存。

知识蒸馏

大模型（教师）教小模型（学生），保留 90%+ 精度时参数量压缩到十分之一。

混合精度训练

FP16 计算 + FP32 主权重 + 损失缩放防溢出。速度翻倍，显存减半。

PagedAttention（vLLM）

把 KV Cache 切成固定大小的 block，按需分配（类似 OS 虚拟内存分页），让同一块 GPU 服务更多并发请求，吞吐量提升 2-4 倍。

六、嵌入与分词

BPE（Byte Pair Encoding）

从每个字符开始，反复统计相邻字符对频率，把最高频的合并成新 token。词表大小通常 3-5 万。

BPE 分词器将未知单词分解为子词和单个字符，因此它可以解析任何单词，而无须使用 <|unk|> 替换未知单词。（来源：《从零构建大模型》）

嵌入（Embedding）

从静态嵌入（Word2Vec，一个词一个固定向量）到上下文化嵌入（如 BERT 输出，同一词在不同语境下有不同向量）。现代 LLM 的核心能力之一就是生成高质量的上下文化嵌入。

嵌入是把离散世界变成连续空间的语言——一旦你的数据变成向量，一切运算都变得可能。（来源：《大模型技术30讲》）

七、高级架构变体

MoE（混合专家模型）

核心思想：模型很大，但每次只激活一小部分。路由器选择"专家"，只激活选中的专家。

| 维度 | 传统 Transformer | MoE（如 Switch Transformer） | |------|-------------------|---------------------------| | 参数量 | 全部激活 | 稀疏激活 | | 计算量 | O(参数量) | O(激活参数量) | | 路由策略 | 无 | Token 级别路由 | | 负载均衡 | 自然均衡 | 需要辅助损失函数 |

负载均衡问题：路由器可能把大部分 token 分给少数专家。解决方案：辅助损失函数 + 专家容量限制。

ViT（Vision Transformer）

把图像切块当序列处理——图像切成 16×16 的 patch → 线性投影 → 加位置编码 → Transformer 编码 → 分类。

| 维度 | CNN | ViT | |------|-----|-----| | 归纳偏置 | 局部性 + 平移不变性 | 几乎没有（靠数据学习） | | 全局建模 | 需要深层堆叠 | 第一层就能捕获全局关系 | | 数据需求 | 较少 | 大量（预训练优势） | | 可扩展性 | 有限 | 极强（越大越好） |

八、模型评测

传统指标

| 指标 | 适用任务 | 局限 | |------|---------|------| | BLEU | 机器翻译 | 只衡量 n-gram 重叠，不理解语义 | | ROUGE | 文本摘要 | 只衡量召回率 | | Perplexity | 语言模型质量 | 太低可能过拟合 | | BERTScore | 通用文本 | 基于语义相似度，更贴近人类判断 |

现代方法

  • LLM-as-a-judge：用 GPT-4 级强模型评估其他模型输出，成本低但可能有偏差
  • 消融实验：逐个移除模型组件看效果变化，理解模型行为的手术刀
  • 注意力可视化：画热力图看模型在关注什么

选评测指标之前先问自己：你真正关心的是什么？没有万能指标。（来源：《大模型技术30讲》）

九、架构演进图谱

CNN (ResNet/VGG)
    ↓ 数据量增大
ViT (Vision Transformer)
    ↓ 统一架构思路
Transformer (Attention Is All You Need, 2017)
    ├── GPT 系列 (自回归，生成式)
    │     GPT-1 → GPT-2 → GPT-3 → ChatGPT → GPT-4
    │     LLaMA → Qwen → DeepSeek
    └── BERT 系列 (双向编码，理解式)
          BERT-base → RoBERTa → DeBERTa
    ↓ 微调范式演进
    全量微调 → Prompt Engineering → LoRA/QLoRA
    ↓ 部署优化
    FP32 → FP16/INT8 量化 → 知识蒸馏 → 剪枝 → PagedAttention
    ↓ 架构创新
    MoE (稀疏激活) → 多模态融合

十、Agent架构与设计模式

来源：《Agent设计模式》黄佳

Agent是从"LLM应用"到"LLM系统"的关键跨越——不再被动响应，而是具备感知-推理-行动的闭环。

Agent心智架构

感知(Perception) → 记忆(Memory) → 推理(Reasoning) → 行动(Action) → 反思(Reflection)
         ↗_______________________________________________↙

推理模式矩阵（按复杂度递增）

| 模式 | 结构 | 适用场景 | |------|------|----------| | 思维链(CoT) | 线性逐步推导 | 数学计算、逻辑推理 | | 思维树(ToT) | 多路径探索+回溯 | 搜索问题、策略规划 | | 思维图(GoT) | 网络化非线性推理 | 复杂多步推理 | | 类比推理 | 跨域迁移 | 开放域复杂问题 |

CoT是基础但容易陷入单一路径，ToT通过多路径增加最优解概率，GoT允许非线性跳跃，类比推理最具前瞻性——解决的是"AI创造力"问题。

反思机制

没有反思的Agent只是执行器，有反思的Agent才具备学习能力：

执行行动 → 评估结果 → 识别差距 → 提取教训 → 更新记忆 → 改进下次行动

多Agent协作模式

| 模式 | 特点 | 适用场景 | |------|------|----------| | 中心化编排 | 主Agent调度子Agent | 控制力要求高 | | 去中心化交互 | Agent间直接通信 | 可扩展性要求高 | | 路由模式 | 按任务类型分发 | 精准匹配场景 |

MCP（Model Context Protocol）是Agent与外部工具的标准化接口，A2A是Agent之间的通信协议——协议标准化是Agent生态走向成熟的关键。

十一、RAG架构与LLM应用开发

来源：《大模型应用开发极简入门》+《LangChain与企业级LLM服务》

RAG（检索增强生成）是解决LLM"幻觉"问题的核心架构——先检索外部知识，再让模型基于真实数据生成回答。

RAG核心流程

用户提问 → 问题嵌入(Embedding) → 向量数据库检索 → 检索结果作为上下文 → LLM生成回答

RAG优化技巧

| 技巧 | 说明 | |------|------| | Chunk大小优化 | 500-1000字符为宜，平衡精度和上下文 | | 重排序 | 先粗检索再精排序 | | 混合检索 | 关键词+向量双路，提高召回率 | | 查询改写 | 先优化用户问题再检索 | | 元数据过滤 | 按类别/日期过滤，精准定位 |

LLM应用开发决策树

需求分析
├── 简单问答 → 直接API调用
├── 知识问答 → RAG架构
├── 特定风格 → Fine-tuning
├── 多步骤任务 → Agent/Chain
└── 实时交互 → Streaming API

企业级LLM应用架构

用户请求 → API网关 → Agent（LangGraph）→ 工具/API调用
                              ↕
                     知识库（RAG）← VectorStore
                              ↕
                     LLM（GPT/DeepSeek）
                              ↕
                     监控（LangSmith）→ 日志/指标/告警

LLM应用的常见漏洞

| 漏洞 | 防御方法 | |------|----------| | 提示注入 | 输入验证+沙盒 | | 数据泄露 | 输出过滤 | | 幻觉 | RAG+事实核查 | | 成本失控 | 额度限制+监控+缓存 |

十二、AIDevOps：AI驱动的智能运维

来源：《AIDevOps》吴文峻

将AI能力融入微服务全生命周期，通过"感知-分析-决策-执行-反馈"的智能适配回路，实现服务的自感知、自诊断、自恢复和自优化。

智能微服务适配回路

感知(监控数据) → 分析(状态评估) → 决策(策略生成) → 执行(策略落地) → 反馈(效果评估) → 感知

AIOps根因分析方法

| 方法 | 优势 | 局限 | |------|------|------| | 基于规则 | 准确 | 覆盖面有限 | | 基于拓扑 | 考虑系统结构 | 依赖准确的依赖图 | | 基于机器学习 | 处理复杂模式 | 需要训练数据 | | 基于因果推断 | 可发现未知因果 | 计算开销大 |

从DevOps到AIDevOps，不是简单的技术升级，而是运维理念从"自动化"到"智能化"的范式转换。

十三、关键数据参考

| 模型 | 参数量 | 层数 | 隐藏维度 | 训练数据 | 核心创新 | |------|--------|------|---------|---------|---------| | BERT-base | 110M | 12 | 768 | 16GB 文本 | 双向预训练 | | GPT-2 | 1.5B | 48 | 1600 | 40GB WebText | 规模化自回归 | | GPT-3 | 175B | 96 | 12288 | 300B tokens | In-Context Learning | | PaLM | 540B | 118 | 18432 | 780B tokens | Pathways 架构 | | LLaMA-7B | 7B | 32 | 4096 | 1T tokens | 开源高效架构 | | ViT-Base | 86M | 12 | 768 | ImageNet-21k | 图像 Patch 化 |

整理时间：2026-05-02 | 来源：4 本读书笔记精华提取 2026-05-14 融合5本新书（AI大模型必知必会、Agent设计模式、大模型应用开发极简入门、LangChain与企业级LLM服务、AIDevOps）

关系图谱