第 6 关：预言家 — 让数据预测未来

闯关系统最大的一关。6A（结构化数据）必做，6B（非结构化）选做。

🎯 本关目标

解决"从数据中发现规律并用规律预测未来"的问题
对应现实工程能力：推荐系统、风控、用户增长预测

Step 1：本关资料（海量输入）

用 48h 倒推：如果 Step 5 要输出费曼讲解，现在需要储备什么弹药？

6A：结构化数据路线（必做）

| 资料类型 | 具体资料 | 用途 | |---------|---------|------| | 交互课程 | Kaggle Learn ML — Micro-courses: Intro to ML + Intermediate ML | 最快上手，有交互式练习，覆盖回归/分类/特征工程基础 | | 系统教材 | 《Hands-On ML with Scikit-Learn》Géron — 第 2-4 章 | 系统理解经典 ML 算法原理和 scikit-learn 实践 | | 数学推导 | 《统计学习方法》李航 — 第 1-6 章 | 数学层面理解"为什么这个算法有效" | | 实战参考 | Kaggle House Prices Notebook（排名前 5） | 学习顶尖选手的 EDA 和特征工程思路 | | 竞赛项目 | Kaggle House Prices + 信用卡欺诈检测 | 动手验证的实战项目 | | 学术论文 | 见末尾论文阅读清单 | 深入理解 ML 核心算法的理论基础 |

6B：非结构化数据路线（选做）

| 资料类型 | 具体资料 | 用途 | |---------|---------|------| | 课程讲义 | CIT694 PPT（全部） | 课堂教学体系，覆盖 NLP 和 CV 基础 | | 官方教程 | PyTorch 官方教程 — 60-minute Blitz + Transfer Learning Tutorial | 从零上手 PyTorch，理解训练循环和迁移学习 |

📐 数学补给站（本关最大数学依赖）

本关涉及数学模块：① 线性代数 + ② 微积分直觉 + ③ 概率统计 + ④ 优化思想

第6关是数学密集区——机器学习本质上就是数学。建议先花 2-3h 过一遍对应数学模块的 48h 预扫描，再进闯关任务。

| 数学模块 | 本关用途 | 深入参考 | |---------|---------|---------| | ① 线性代数：向量、矩阵运算、SVD | 特征工程（One-Hot = 稀疏矩阵）、PCA 降维 = SVD、距离计算 = 向量运算 | 完整模块 | | ② 微积分直觉：导数、链式法则、梯度 | 梯度下降优化、神经网络反向传播 = 链式法则 | 数学-② 微积分直觉 | | ③ 概率统计：分布、假设检验、贝叶斯 | 朴素贝叶斯分类器、模型评估指标、交叉验证 | 完整模块 | | ④ 优化思想：目标函数、正则化、帕累托 | Ridge/LASSO 正则化 = 带约束的优化、模型调参 = 多目标优化 | 数学-④ 优化思想 |

重点优先级：

🔴 线性代数 — embedding、矩阵运算、PCA，AI 的地基
🔴 优化思想 — 梯度下降、正则化，模型训练的核心
🟡 概率统计 — 模型评估、假设检验，验证结果可靠性
🟡 微积分 — 理解梯度下降"为什么有效"，不手推也行

快速自测：

梯度下降中"学习率"太大或太小会怎样？（② + ④）
L1 vs L2 正则化的几何区别是什么？（④）
为什么 PCA 能做降维？（①）
交叉验证中的 k 怎么选？（③）

答不上来的去对应数学模块补课，别急着跑模型。

Step 2：本关心智模型

这些模型是你做判断的"操作系统"。理解它们，不只是记住它们。

6A 模型

模型 1：监督学习模型

核心思想：从"已知答案"的数据中学习规律，然后用规律预测"未知答案"的新数据。本质是函数拟合——找到一个映射 f(X) → Y，使得在未见数据上也表现良好。
关键变量：
- 特征（Features）：用什么预测——决定模型上限
- 标签（Labels）：预测什么——决定问题类型（回归/分类）
- 训练/验证/测试划分（Train/Val/Test Split）：如何检验学习效果——防止"考试作弊"
应用场景：推荐系统 CTR 预估、金融风控欺诈检测、用户流失预测、房价预测
局限性：依赖标注数据（成本高）；无法发现未知的模式（只能学历史中存在的规律）；特征工程依赖人工领域知识
相关资料：Domingos "A Few Useful Things to Know about Machine Learning"（CACM 2012）；Kohavi "A Study of Cross-Validation"（IJCAI 1995）

模型 2：偏差-方差权衡模型

核心思想：模型太简单会欠拟合（高偏差，学不到规律），太复杂会过拟合（高方差，记住了噪音），最优在中间。泛化误差 = 偏差² + 方差 + 不可约误差。
关键变量：
- 训练误差（Training Error）→ 高 = 可能欠拟合
- 验证误差（Validation Error）→ 远高于训练误差 = 过拟合
- 模型复杂度（Complexity）→ 控制拟合能力的旋钮
应用场景：模型选型（先跑 Baseline 再逐步增加复杂度）、调参方向判断、诊断"线上效果不如 CV"
局限性：偏差-方差分解在理论上清晰，但在实际中很难精确计算；深度学习中偏差和方差的关系更加复杂（双下降现象）
相关资料：Géron《Hands-On ML》第 2 章偏差-方差权衡图；Kaggle Learn ML "Underfitting and Overfitting" 课程

模型 3：评估选择模型

核心思想：不同问题需要不同的评估指标，选错指标会优化错方向。"准确率 99.8%" 可能是废物——取决于业务场景。
关键变量：
- 精确率（Precision）vs 召回率（Recall）→ 零和博弈，需要根据业务成本权衡
- ROC/AUC → 正负样本平衡时的综合指标
- 业务成本（误判代价）→ 误报成本 vs 漏报成本
应用场景：欺诈检测（宁可误报不能漏报 → 高 Recall）、医疗诊断（不能漏诊 → 高 Sensitivity）、推荐系统（NDCG）
局限性：单一指标无法全面评估模型性能；业务成本往往难以量化；A/B 测试才是最终验证
相关资料：Davis & Goadrich "The Relationship Between Precision-Recall and ROC Curves"（ICML 2006）；He & Garcia "Learning from Imbalanced Data"（IEEE TKDE 2009）

6B 模型（选做）

模型 4：文本表示模型

核心思想：把人类语言变成机器能计算的数字向量，"语义相近的词向量也相近"。从 TF-IDF 的稀疏表示到 Word2Vec/BERT 的稠密表示，本质是"把语义编码成距离"。
关键变量：
- 词向量维度（Dimension）→ 越高表达力越强，但计算成本越大
- 上下文窗口（Context Window）→ 决定能捕捉多远的语义关系
- 语义相似度（Semantic Similarity）→ 余弦相似度衡量
应用场景：情感分析、文本分类、搜索引擎、对话系统
局限性：词向量难以处理一词多义（BERT 通过上下文化部分解决）；跨语言迁移仍有挑战
相关资料：CIT694 PPT；PyTorch 官方教程

模型 5：图像特征提取模型

核心思想：CNN 的卷积层自动学习"什么特征重要"——边缘 → 纹理 → 物体部件 → 整体。迁移学习的关键洞察：底层特征（边缘、纹理）是通用的，只需微调顶层适配具体任务。
关键变量：
- 卷积核大小（Kernel Size）→ 感受野大小
- 特征图维度（Feature Map Dimension）→ 信息压缩程度
- 预训练权重（Pre-trained Weights）→ ImageNet 学到的通用特征
应用场景：图像分类、目标检测、医学影像诊断（标注数据极少时用迁移学习）
局限性：CNN 对旋转、缩放不变性有限；需要大量标注数据从头训练（迁移学习缓解了这个问题）
相关资料：LeCun et al. "Gradient-Based Learning Applied to Document Recognition"（Proc. IEEE 1998）；PyTorch Transfer Learning Tutorial

Step 3：本关分歧点

真正的判断力不在于"知道什么是对的"，而在于"知道两边为什么吵"。

分歧 1：模型复杂度——简单模型 vs 复杂模型

A 方（简单优先）：Occam's Razor——数据少（< 1000 条）且噪声大时，简单模型更稳健。线性回归是永远的 Baseline，跑不过线性回归的复杂模型不值得用。可解释性也是生产力。
B 方（复杂优先）：XGBoost/LightGBM 在大多数结构化数据竞赛中碾压线性模型，只要做好正则化和交叉验证。实际业务中 1-2% 的精度提升可能意味着巨大的商业价值。
实践倾向：先跑 Baseline（线性回归），再逐步增加复杂度，每次对比验证集效果。关键是：不能直接上 XGBoost 而不跑 Baseline——你不知道那 1% 的提升是真实的还是噪音。
为什么重要：这是 ML 工程师最基本的判断力。选错了复杂度，要么欠拟合（浪费了数据的信息），要么过拟合（在 Kaggle 上好看、线上崩了）。

分歧 2：评估指标——准确率 vs F1 vs AUC

A 方（准确率）：直观、好解释、好对比。在类别平衡的场景下（正负例差不多），准确率是最合理的指标。
B 方（F1/PR-AUC）：类别不平衡时准确率是幻觉——99.8% 准确率可能意味着"全部预测为负例"。PR 曲线比 ROC 曲线更能反映分类器在正例稀疏场景下的真实性能。
实践倾向：先看数据分布，再选指标。正负比 > 1:10 时，准确率不可信，必须看 F1 或 PR-AUC。但最终标准永远是业务成本——误报和漏报哪个代价更大？
为什么重要：选错指标 = 优化错方向。面试中"99.8% 准确率的模型为什么是废物"几乎是必考题。

分歧 3：特征工程 vs 模型选择——哪个更重要？

A 方（特征工程为王）："Garbage in, garbage out"。好的特征工程往往比模型选择对结果的影响更大。房价预测中，"地下室面积/总面积比"可能比换一个更复杂的模型效果更好。
B 方（模型选择为王）：深度学习和 AutoML 的发展正在削弱人工特征工程的重要性。XGBoost 的自动特征交互和 LightGBM 的直方图优化让模型自身能发现有效特征组合。
实践倾向：取决于数据量和领域。数据少时特征工程更重要（模型没有足够数据自己学）；数据大时模型选择更重要（模型能从原始特征中学到复杂模式）。但永远不能跳过特征理解——即使不手动做特征工程，你也必须理解哪些特征有预测力。
为什么重要：这决定了你的时间分配——花在理解数据和做特征上的时间 vs 花在调参和选模型上的时间。

Step 4：闯关任务（动手验证）

理论看完了，现在动手。以下任务按优先级排序，全部完成才算通关。

6A：结构化数据路线（必做）

任务 1：回归项目 — Kaggle House Prices ⭐

完整流程：EDA → 特征工程 → 模型训练 → 调参

EDA：目标变量分布（偏态 → log 变换）、特征相关性热力图、缺失值模式
特征工程：
- 数值特征：填充缺失值、标准化/归一化
- 类别特征：One-Hot / Target Encoding
- 交叉特征：面积 × 单价、房龄 × 状况等级
模型进阶：
- 线性回归（Baseline）
- Ridge / Lasso（正则化，理解 L1 vs L2）
- XGBoost / LightGBM（树模型，理解 Boosting）
调参：GridSearch / RandomSearch / Optuna
目标：Kaggle 排名前 30%

任务 2：分类项目 — Kaggle 信用卡欺诈检测 ⭐

核心挑战：正负样本极度不平衡（欺诈 < 0.2%）
处理策略：
- SMOTE 过采样 vs 欠采样
- Class Weight 调整
- 异常检测思路（Isolation Forest）
评估：F1-Score > 0.85（不能只看准确率）
关键问题：为什么准确率 99.8% 的模型完全没用？

任务 3：聚类项目 — 客户分群（建议做）

K-Means vs DBSCAN 对比
肘部法则 + 轮廓系数选 K
用降维（PCA/t-SNE）可视化聚类结果
业务解读：每个群是什么"类型"的客户？

6B：非结构化数据路线（选做，二选一）

路线 A：文本 — 情感分析 Demo

工具：NLTK / spaCy（预处理） + scikit-learn（分类）
流程：文本清洗 → 分词 → TF-IDF / Word2Vec → 分类器
进阶：用预训练模型（BERT 微调）对比效果提升

路线 B：图像 — PyTorch 入门 + 迁移学习

PyTorch 基础：Tensor、Dataset、DataLoader、训练循环
迁移学习：ResNet 预训练模型微调（冻结底层，训练顶层）
数据集：CIFAR-10 或自建小数据集

Step 4.5：💬 AI 教练对话

以下 4 个 Prompt 对应学习过程中的不同阶段。按需使用，不是顺序执行。

Prompt 1：理解问题 — 识别机器学习问题类型

使用时机：开始做项目之前，不确定用什么方法时

我有一个业务场景，请帮我判断适合用什么机器学习方法。

场景描述：[描述你的问题，如"我们想预测用户下周会不会流失"]
数据情况：[描述你有什么数据，如"有用户过去 30 天的登录记录、购买记录、浏览记录"]

请回答：
1. 这是回归问题还是分类问题？为什么？
2. 什么是合理的特征？什么是标签？
3. 最大的挑战是什么？（数据量 / 不平衡 / 特征工程 / 其他）
4. 推荐从哪个模型开始？（从简单到复杂）

⚠️ 禁止直接给代码或答案，只做问题分析和方向指引。

Prompt 2：Debug — 模型效果不好

使用时机：训练完模型后，效果不如预期时

我训练了一个[模型名，如 XGBoost]模型来预测[任务描述]。

结果：
- 训练集准确率：[数值]
- 验证集准确率：[数值]
- 测试集准确率：[数值]

请帮我诊断：
1. 这是欠拟合还是过拟合？依据是什么？
2. 可能的原因有哪些？（列出 3-5 个）
3. 我应该先尝试哪个改进方向？为什么？

⚠️ 禁止直接给代码解决方案，只做诊断和优先级排序。

Prompt 3：模型提取 — 理解偏差-方差权衡

使用时机：对比多个模型效果后，理解它们在偏差-方差谱上的位置时

我在[具体项目，如房价预测]中尝试了多个模型，结果如下：

| 模型 | 训练 RMSE | 验证 RMSE |
|------|----------|----------|
| 线性回归 | 45000 | 47000 |
| Ridge | 43000 | 44500 |
| XGBoost | 12000 | 38000 |

请帮我分析：
1. 每个模型处于偏差-方差权衡的什么位置？
2. XGBoost 为什么训练误差这么低但验证误差高？
3. 我应该怎么缩小 XGBoost 的训练-验证差距？给我 3 个方向。

⚠️ 不要直接给调参代码，引导我理解原理。

Prompt 4：工程映射 — 从 Kaggle 到生产

使用时机：完成 Kaggle 项目后，思考如何应用到实际工作时

我在 Kaggle 上完成了[项目名，如房价预测]，模型效果不错。

现在要把这个模型应用到实际工作中：[描述你的实际场景]

请帮我思考：
1. Kaggle 环境和生产环境最大的 3 个区别是什么？
2. 模型上线后需要监控什么指标？
3. 特征工程在生产环境会遇到什么问题？（如特征漂移）

⚠️ 不要给我部署代码，只做工程化思维的分析。

Step 5：关 AI 自测

⚠️ 关闭 AI 前提：先独立思考 20-30 分钟，写出自己的判断和理由，再开启 AI 做追问验证。不要边想边问。