📚 喵喵的笔记库

图解大模型生成式AI原理与实战

17分钟阅读

一、全书概览

这本书是一本用图解方式讲大语言模型的入门与实战书。两位作者在 NLP 社区里名气不小——Jay Alammar 是那篇刷屏的 "The Illustrated Transformer" 的作者，Maarten Grootendorst 是 BERTopic 框架的创建者。他们的共同特点是擅长把复杂概念变成直观的图示。

全书分三个部分，共 12 章：

  • 第一部分：理解语言模型（第 1-3 章）——从历史演变讲起，到词元和嵌入，再到 Transformer 架构内部拆解。这是打底子的部分。
  • 第二部分：使用预训练语言模型（第 4-9 章）——分类、聚类、主题建模、提示工程、高级文本生成、语义搜索与 RAG、多模态。这是动手干活的部分。
  • 第三部分：训练和微调语言模型（第 10-12 章）——从嵌入模型搭建，到分类任务微调，再到生成模型微调。这是深入的部分。

这本书的目标读者是有 Python 基础的开发者和研究人员，不需要深度学习或 PyTorch 的先修知识。所有代码都可以在 Google Colab 上跑，最低要求是一块 16GB 显存的 T4 GPU。全书配有大约 300 幅全彩插图，这是它和市面上大部分 LLM 教材最大的区别。

二、逐章要点

第 1 章：大语言模型简介

从语言 AI 的发展脉络讲起。最早的词袋模型（Bag-of-Words）只是简单地统计词频，完全丢失语义信息。后来有了嵌入向量（Embedding），用稠密向量来表示词语的含义，语义相近的词在向量空间中距离也更近。再往后，自注意力机制和 Transformer 架构彻底改变了上下文编码的方式。

作者把 LLM 分成两大类：表示模型（Encoder-only，如 BERT）不生成文本，适合分类等任务；生成模型（Decoder-only，如 GPT）可以生成文本。这个区分贯穿全书，不是随便提提就过了。

章末有一个用 Phi-3 Mini 做演示的实践环节，展示小模型也能做什么。

第 2 章：词元与嵌入

分词器是大模型处理文本的第一道工序。本章介绍了三种主要的分词方法：BPE（Byte-Pair Encoding）、WordPiece 和字节级分词。不同的模型用的分词器不一样——GPT-2 和 BERT 和 FLAN-T5 各有各的规矩。

嵌入向量是让机器"理解"语义的核心手段。从静态的 Word2Vec，到现代 LLM 的上下文化嵌入（Contextual Embedding），一个词的含义会随着上下文变化。本章还用嵌入向量做了一个音乐推荐系统，让抽象的概念落地。

关键信息：大模型不只是使用嵌入，它本身也在生成高质量的上下文化嵌入。

第 3 章：深入 Transformer

这是全书最核心的一章，可以看作是 "The Illustrated Transformer" 的扩展版。

文本生成是自回归的（autoregressive）——模型一次生成一个 token。一次前向传播的完整流程是：分词 → Transformer 栈 → 语言建模头。解码策略上，贪心解码选概率最高的 token，温度参数控制随机性，KV Cache 用来加速生成避免重复计算。

Transformer Block 的两个核心组件：

  • 多头自注意力层（Multi-head Self-Attention）——用 Query-Key-Value 矩阵计算相关性，再聚合信息。注意力计算分两步：先算相关性得分（Query 乘 Key，再 softmax 归一化），再用得分加权 Value 向量求和。
  • 前馈网络（Feedforward Network）

本章还介绍了一些架构层面的优化：Flash Attention、Multi-query Attention、旋转位置编码（Rotary Embeddings）、RMSNorm。

第 4 章：文本分类

两种思路做分类：表示模型和生成模型，各有各的路。

表示模型方面，用冻结的嵌入向量加逻辑回归就能做分类，RoBERTa 在电影评论数据集上能达到 0.8 的 F1 分数。还有余弦相似度分类——算输入文本和各类别嵌入的接近程度。

生成模型方面，Flan-T5 和 ChatGPT 可以通过提示让模型直接返回类别标签。这个方法的好处是灵活，坏处是不稳定。

实际场景：评论情感分析、垃圾邮件检测、意图识别。

第 5 章：文本聚类与主题建模

把大量文档按语义分组，用的是一套标准流水线：文档 → 嵌入 → 降维（UMAP）→ 聚类（HDBSCAN）。

BERTopic 是本章的主角，它是一个模块化框架，四个组件都可以替换：

  • 嵌入模型（如 thenlper/gte-small）
  • 降维方法（如 UMAP）
  • 聚类算法（如 HDBSCAN）
  • 主题表示方法（TF-IDF、KeyBERT、MMR、生成式模型）

实践环节在 ArXiv 论文摘要上做聚类和主题分析。

第 6 章：提示工程

提示工程是"调整输入给 LLM 的文本，让模型输出符合预期"的技术。这不是玄学，有方法论。

本章讲了几种提示策略：零样本提示、少样本提示、思维链（Chain-of-Thought）、角色设定等。还讨论了如何评估提示质量，以及如何系统化地迭代提示。

第 7 章：高级文本生成技术

在第 6 章基础上，更深入地探讨文本生成的控制技术。包括：

  • 解码策略的更多细节（top-k、top-p/nucleus sampling）
  • 文本生成的约束与引导
  • 工具和框架的使用

这一章是给想在生成质量上下功夫的人准备的。

第 8 章：语义搜索与检索增强生成（RAG）

关键词搜索只能匹配字面，语义搜索能理解意图。本章讲了稠密检索（Dense Retrieval）的基本原理，以及重排序（Re-ranking）如何进一步提升搜索质量。

RAG（Retrieval-Augmented Generation）是当前最热的 LLM 应用模式之一——先检索相关文档，再让 LLM 基于检索结果生成回答。本章详细拆解了 RAG 的完整流程。

第 9 章：多模态大语言模型

把文本生成能力扩展到视觉领域。多模态模型能同时处理图像和文本输入，实现图像描述、视觉问答等任务。

本章介绍了多模态模型的基本原理、主流架构和应用场景。

第 10 章：创建文本嵌入模型

从底层方法论讲起，如何构建一个嵌入模型。涉及对比学习（Contrastive Learning）的训练范式，让语义相似的文本对在向量空间中靠近，不相似的远离。

这是第三部分"训练和微调"的开篇，开始进入真正的模型训练 territory。

第 11 章：分类任务的表示模型微调

回顾如何针对分类任务微调 BERT 类模型。训练流程是：微调 LLM → 用得到的数值表示训练一个分类器（通常是前馈神经网络）。

本章关注的是分类场景的高效优化技巧，包括数据准备、训练策略、评估方法等。

第 12 章：生成模型的微调

全书的收官之章，讲了几种生成模型的微调方法：监督微调（SFT）、上下文学习（In-Context Learning）等。这是让通用大模型变成领域专家的关键技术。

三、关键概念速查

1. 词元化（Tokenization）

把文本切成模型能处理的小单元。BPE、WordPiece、字节级分词是三种主流方法。不同的模型有不同的分词策略，同一个词在不同模型里可能被切成不同数量的 token。

2. 嵌入向量（Embedding）

用稠密向量表示文本的语义。语义相近的文本在向量空间中距离更近。静态嵌入（如 Word2Vec）一个词一个固定向量，上下文化嵌入（如 BERT 的输出）同一个词在不同语境下有不同向量。

3. Transformer 架构

当前所有主流大模型的基础架构。核心是多头自注意力机制，通过 Query-Key-Value 矩阵计算 token 之间的相关性并聚合信息。Encoder-only 模型擅长理解（BERT），Decoder-only 模型擅长生成（GPT）。

4. RAG（检索增强生成）

先从外部知识库检索相关文档，再让 LLM 基于检索结果生成回答。解决大模型的幻觉问题和知识时效性问题。稠密检索 + 重排序是标配流程。

5. BERTopic

一个模块化的文本主题建模框架。流水线是：嵌入 → 降维（UMAP）→ 聚类（HDBSCAN）→ 主题表示。每个环节都可以替换成不同的组件。

6. 提示工程（Prompt Engineering）

通过设计输入文本来引导 LLM 输出预期结果的技术。包括零样本、少样本、思维链等策略。有方法论，不是玄学。

7. 微调（Fine-Tuning）

在预训练模型基础上，用特定任务的数据继续训练，使模型适应特定场景。主要分监督微调（SFT）和基于人类反馈的强化学习（RLHF）等。

四、核心框架与模型

| 类别 | 名称 | 用途 | |------|------|------| | 表示模型 | BERT / RoBERTa | 文本分类、嵌入提取 | | 生成模型 | GPT 系列 / Flan-T5 / Phi-3 | 文本生成、对话 | | 嵌入模型 | thenlper/gte-small | 文本向量化 | | 主题建模 | BERTopic | 文本聚类和主题发现 | | 降维 | UMAP | 高维向量可视化/降维 | | 聚类 | HDBSCAN | 密度聚类 | | 训练平台 | Hugging Face Transformers | 模型加载、训练、推理 | | 运行环境 | Google Colab（T4 GPU） | 代码运行 |

五、金句摘录

  1. "LLM 是当今最具活力的技术领域之一。在写作本书期间，我们目睹了这个领域的惊人进展。然而，尽管变化迅猛，但其基本原理始终如一。"——前言

  2. "语言人工智能（Language AI）领域发展迅猛，试图紧跟最新技术让人很有压力。因此，我们将重点放在 LLM 的基础知识上，致力于提供一个轻松、有趣的学习过程。"——前言

  3. "在本书中，我们明确区分表示模型和生成模型。表示模型不生成文本，通常用于特定任务；而生成模型则可以生成文本。"

  4. "我们大量运用视觉语言。插图将帮助读者对 LLM 学习过程中的主要概念和流程建立直观认识。"

  5. "你的见解不仅使这本书成为可能，而且让写作过程变得无比充实。"——Jay 致谢 Maarten

六、行动清单

每天

  • 选一个书中概念，用自己的话复述一遍（比如今天讲"注意力机制"给同事听）
  • 花 15 分钟在 Colab 上跑一个代码示例，动手比看书效果好十倍
  • 刷一篇 LLM 相关的论文或博客（Jay Alammar 的博客是很好的来源）

每周

  • 用书中学到的技术做一个小项目（比如用 BERTopic 分析一周的新闻标题，用 RAG 搭一个自己的知识库问答）
  • 重读一章的插图，看看有没有之前没注意到的细节
  • 在 Hugging Face 上试一个新模型，比较不同模型在同一个任务上的表现差异

每月

  • 完成一个端到端的 LLM 应用（从数据准备、模型选择、提示设计到部署）
  • 跟进 LLM 领域的最新进展，看哪些是书中的基本原理的延伸，哪些是全新的东西
  • 如果在做实际项目，把书中第三部分（训练和微调）的方法应用到自己的数据上

七、一句话总结

用 300 幅图和大量可运行的代码，把大模型从原理到实战讲清楚——适合想搞懂 LLM 但不想啃论文的开发者。

八、读者热议

  1. "Jay 的可视化能力是业界公认的，这本书延续了他一贯的图解风格，把抽象的数学过程拆成直觉可理解的视觉表达。" ——读者普遍认为这是本书最大的卖点。The Illustrated Transformer 已经证明了他的图解能力，这本书把范围扩展到了整个 LLM 领域。

  2. "不需要深度学习基础，只要会用 Python 就能上手，这是给开发者的入门书里门槛最低的一本。" ——对于有编程经验但没有 ML 背景的人来说，这本书的定位很准确。不过也有读者指出，正因为门槛低，深度不够，适合入门但不适合进阶。

  3. "BERTopic 那一章太实用了，拿到真实数据集直接就能用。RAG 那章也是，正好赶上这波热潮。" ——第二部分的实战章节好评最多，尤其是第 5 章主题建模和第 8 章语义搜索/RAG，被认为是最能直接用到工作中的内容。

读书笔记由喵喵生成 | 2026-04-27

相关笔记

同作者仅有此篇 同主题：

关系图谱