📚 喵喵的笔记库

闯关地图

40分钟阅读

🗺️ 数据分析闯关地图

10 关，从入门到精通。每关有 Boss，每关有产出，学完能用大白话讲明白。 你有 10 年编程经验，Python 和 SQL 直接跳过，咱上硬菜。

🏰 第 1 关：新手村 — 看懂你的数据

通关目标：拿到一个数据集，能快速摸清它的"性格"——分布长什么样、有没有异常、变量之间什么关系。

📚 你会学到什么

  • 描述性统计：均值、中位数、众数、标准差、方差、四分位数、偏度、峰度
  • 常见分布：正态分布、长尾分布、二项分布
  • 异常值检测：IQR 方法、Z-score

🔗 推荐资源

  • StatQuest YouTube 频道（Josh Starmer，统计学讲得最通俗的人）
  • Khan Academy 统计与概率（免费，khanacademy.org）
  • 书：《赤裸裸的统计学》 Charles Wheelan（轻松入门，中文版有）

⚔️ 闯关任务

  1. 下载 Kaggle House Prices 数据集（train.csv）
  2. 用 pandas 跑一遍完整描述性统计：df.describe()、偏度、峰度
  3. 画每个数值变量的分布图（直方图 + 箱线图）
  4. 用 IQR 和 Z-score 两种方法检测异常值，对比结果差异
  5. 找出最"奇葩"的分布——哪个变量最不正态？

🏆 通关产出

一份 "数据画像" Jupyter Notebook：打开这个 notebook，任何人在 3 分钟内能看懂这个数据集的基本面貌。

👾 Boss 挑战

在这个数据集里找到 3 个"隐藏故事"：

  • 一个让人意外的异常值（比如某栋房子价格离谱到什么程度？为什么？）
  • 一个有趣的分布（哪个变量的分布不是正态的？暗示了什么？）
  • 一个意料之外的变量关系（哪两个变量相关性最高？能解释吗？）

🧪 费曼检验

你能用 3 分钟跟一个完全不懂技术的人解释这个数据集的基本情况吗？不能？回去重做数据画像。

🤖 AI 提示

可以用 AI 解释统计概念、帮你解读异常值检测结果。**但先自己跑代码看结果，再问 AI 帮你理解。**不要让 AI 帮你写分析结论 — 自己观察数据是学习的第一步。

🔓 下一关解锁条件

  • [ ] Notebook 完整跑通，有 6 种以上图表
  • [ ] Boss 挑战的 3 个故事写清楚（每条配图 + 一段解读）

🤖 AI 提示

可以用 AI 解释统计概念（"用大白话告诉我偏度和峰度的区别"）、帮你理解异常值检测结果。但先自己跑一遍代码看结果，再问 AI 帮你解读。不要直接让 AI 帮你写分析 — 自己观察数据是学习的第一步。

  • [ ] 费曼检验通过（找个人讲一遍，对方听懂了就算过）

🧭 第 2 关：探险者 — 发现变量之间的关系

通关目标：不只看单个变量，要能发现变量之间的关系，并用量化模型去验证。

📚 你会学到什么

  • 相关分析：Pearson（线性）、Spearman（单调）
  • 回归分析：线性回归、多元回归
  • 方差分析（ANOVA）：多组均值差异检验
  • statsmodels 库的使用和输出解读

🔗 推荐资源

  • StatQuest "Regression" 系列
  • 书：《Python for Data Analysis》 Wes McKinney（pandas 作者写的）
  • Kaggle Learn：回归分析课程（免费，kaggle.com/learn）

⚔️ 闯关任务

  1. 用 Kaggle Wine Quality 数据集
  2. 画散点图矩阵（seaborn.pairplot）+ 相关性热力图
  3. 用 statsmodels 做多元线性回归：quality ~ alcohol + sulphates + volatile acidity
  4. 解读回归系数：每个变量对 quality 的影响方向和大小
  5. 检查回归假设：残差正态性、同方差性、多重共线性（VIF）
  6. 尝试加多项式特征，看 R² 能提升多少

🏆 通关产出

一份 回归分析报告：代码 + 图表 + 解读，像一篇小论文的结构。

👾 Boss 挑战

用回归模型预测 wine quality，R² > 0.7。如果达不到，试试特征工程（交互项、多项式、变量变换）。

🧪 费曼检验

你能解释"相关不等于因果"吗？能举 3 个生活中的例子吗？（提示：冰淇淋销量和溺水率）

🤖 AI 提示

可以让 AI 帮你解读回归输出（R平方算好吗？怎么提升？）。但先自己尝试解释回归系数，再问 AI 验证。AI 是教练，不是答案生成器。

🔓 下一关解锁条件

  • [ ] 回归报告完整（代码可复现、图表清晰、解读到位）
  • [ ] R² 达到 0.7 或解释清楚为什么达不到
  • [ ] 能口述"相关不等于因果"并举例

🔍 第 3 关：侦探 — 判断你的发现靠不靠谱

通关目标：学会用统计推断来回答"这个发现是真的还是碰巧的"。

📚 你会学到什么

  • 假设检验：零假设、备择假设、检验统计量
  • p 值的正确理解（重点！90% 的人理解错了）
  • 置信区间：95% CI 到底什么意思
  • t 检验、卡方检验、Mann-Whitney U 检验
  • A/B 测试：样本量计算、实验分组、结果解读
  • 多重检验校正：Bonferroni、FDR（Benjamini-Hochberg）

🔗 推荐资源

  • StatQuest "p-values" 和 "A/B Testing" 系列
  • 书：《统计陷阱》 Darrell Huff（经典，很短，中文版叫《统计数字会撒谎》）
  • 在线：Seeing Theory（brown.edu 在线可视化统计概念）

⚔️ 闯关任务

  1. 用 scipy.stats 跑 t 检验、卡方检验、Mann-Whitney U 检验
  2. 用代码模拟掷硬币 10000 次，验证大数定律和中心极限定理
  3. 设计一个 A/B 测试：电商按钮颜色（红 vs 绿），用 Python 计算需要的样本量
  4. 用 numpy.random 模拟 1000 次 A/B 测试，看 p 值分布
  5. 模拟多重检验场景：同时检验 20 个指标，不校正 vs Bonferroni vs FDR，看假阳性率差异

🏆 通关产出

A/B 测试方案 + 模拟验证 Notebook：从假设到结论的完整链路。

👾 Boss 挑战

设计一个完整的 A/B 测试方案（选一个你熟悉的场景），包含：

  • 业务假设和 KPI
  • 样量计算过程（附公式）
  • 实验分组策略
  • 结果解读框架（什么情况下上线/下线/继续实验）
  • 用代码模拟验证你的结论是否可靠

🧪 费曼检验

p 值 = 0.03 到底意味着什么？（陷阱题。不是说"有 3% 概率是错的"。正确的解释是：在零假设为真的前提下，观察到当前或更极端结果的概率是 3%。）

🤖 AI 提示

AI 解释 p 值和假设检验很在行，但这也是最容易被 AI 带偏的地方 — 很多 AI 本身也会给出错误的 p 值解释。先用代码模拟验证，再问 AI 确认你的理解。

🔓 下一关解锁条件

  • [ ] A/B 测试方案完整且可执行
  • [ ] 模拟代码跑通，能展示校正前后的假阳性差异
  • [ ] 能正确解释 p 值含义（通过费曼检验）

🎨 第 4 关：故事大王 — 让数据自己说话

通关目标：不只是"会画图"，而是能设计一套让别人秒懂的视觉叙事。

📚 你会学到什么

  • 数据获取：分析的前提是有数据，这关顺带把找数据的能力练了
    • 公开数据集：Kaggle、UCI ML Repository、政府开放数据、Google Dataset Search
    • API 获取：REST API 调用、API Key 管理、分页处理、JSON 解析
    • 简单爬虫：requests + BeautifulSoup，遵守 robots.txt
    • 数据格式：CSV、JSON、Parquet、数据库连接
    • 数据质量初步评估：行数、列数、缺失率、数据类型
  • EDA 方法论：变量类型分析 → 缺失值处理 → 特征分布 → 变量关系探索
  • 图表选择逻辑：比较用柱状图、构成用饼图/堆叠、分布用直方图/箱线图、关系用散点图
  • 颜色理论：色盲友好、连续 vs 分类变量用色
  • 避免误导：截断 Y 轴、双 Y 轴、面积陷阱
  • 工具栈：matplotlib（底层控制）+ seaborn（统计图表）+ Plotly（交互式）

🔗 推荐资源

  • Storytelling with Data Cole Nussbaumer Knaflic（可视化圣经，强烈推荐）
  • Fundamentals of Data Visualization Claus Wilke（在线免费，serialmentor.com/dataviz）
  • Plotly 官方教程（plotly.com/python）
  • 补充阅读：Notion CIT643 PPT（数据可视化理论）

⚔️ 闯关任务

  1. 先自己找数据：别直接用现成的 Kaggle kernel，自己去 Kaggle / UCI / 政府开放数据里找一个感兴趣的数据集，下载下来，跑一遍 df.info()、df.describe()，确认数据质量（行数、列数、缺失率、数据类型）。也可以试试调一个公开 API（如 GitHub API）拿数据。
  2. 用找到的数据集做完整的 EDA（从零开始，不参考别人的 kernel）
  3. 画 10 种以上不同类型的图表：柱状图、折线图、散点图、热力图、箱线图、小提琴图、分面图、地理图、树状图、平行坐标图
  4. 每张图都要有：标题、轴标签、图例、注释（标注关键数据点）
  5. 把 3 张"不好"的图改成"好"的图，写清楚改了什么、为什么改

🏆 通关产出

  1. 可视化作品集：10+ 张精心设计的图表（不是随便跑出来的）
  2. 交互式仪表盘：用 Streamlit 或 Gradio 搭建，打开 3 秒内能知道你想说什么

👾 Boss 挑战

做一个交互式仪表盘（Streamlit 或 Gradio），要求：

  • 有筛选/联动功能（选了某个维度，其他图表跟着变）
  • 3 秒内让访问者知道核心结论
  • 可以部署到 Streamlit Cloud（免费）

🧪 费曼检验

找 3 个不同的人看你的仪表盘，问他们"这个仪表盘在说什么？"。如果有人说"不太清楚"，回去改。

🤖 AI 提示

可以让 AI 生成 EDA 代码骨架，然后你负责调优、选图表、加注释。不要让 AI 选图表 — 图表选择是分析师的核心判断力。

🔓 下一关解锁条件

  • [ ] 作品集 10+ 张图表，每张有标题/标签/注释
  • [ ] 仪表盘上线可访问
  • [ ] 至少 2 个人能 3 秒内说出核心结论

🎖️ 第 5 关：军师 — 用数据驱动业务决策

通关目标：从"能分析数据"到"能用分析结果推动决策"。

📚 你会学到什么

  • 指标体系设计：北极星指标、漏斗分析、留存分析、同期群分析（Cohort Analysis）
  • 数据故事讲述：金字塔原理（结论先行）、SCQA 框架（Situation → Complication → Question → Answer）
  • 经典案例分析：Netflix 推荐算法的商业价值、Uber 动态定价、Airbnb 定价策略
  • 数据产品设计：看板设计原则、报表自动化

🔗 推荐资源

  • 书：《精益数据分析》 Alistair Croll（Lean Analytics，指标体系经典）
  • 书：《金字塔原理》 Barbara Minto（结构化思维）
  • 文章：Netflix Tech Blog（netflixtechblog.com，真实案例）
  • 书：《数据化决策》 Douglas Hubbard（How to Measure Anything）

⚔️ 闯关任务

  1. 选一个真实业务场景（你熟悉的公司/产品/行业），定义它的北极星指标
  2. 设计一套完整的指标体系：北极星 → 一级指标 → 二级指标（至少 3 层）
  3. 用 Python 做一次漏斗分析（可以用公开数据集模拟）
  4. 做一次同期群分析，画出留存热力图
  5. 读 3 个经典案例（Netflix/Uber/Airbnb），写一段 200 字的分析

🏆 通关产出

一份 业务分析报告：像咨询公司写的那种——有框架、有数据、有图表、有明确的行动建议。

👾 Boss 挅战

选一个真实业务场景，用数据给出一套 可执行的行动建议：

  • 明确的业务问题和假设
  • 数据来源和分析方法
  • 关键发现（图表 + 解读）
  • 3-5 条具体建议（每条有预期影响和优先级）
  • 建议用 SCQA 结构组织

🧪 费曼检验

你能用 一页 PPT 说服老板采纳你的建议吗？如果不能，说明你的结论还不够锐利。

🤖 AI 提示

可以用 AI 帮你梳理指标体系的逻辑、润色业务报告的语言。但业务洞察必须你自己提炼 — AI 没有你的业务上下文。

🔓 下一关解锁条件

  • [ ] 业务分析报告结构完整、逻辑清晰
  • [ ] 有真实数据支撑（不是拍脑袋）
  • [ ] 能用 1 分钟电梯演讲讲清楚核心建议

🎙️ 第 5.5 关：外交官 — 让别人听懂你在说什么（隐藏关卡）

通关目标：数据分析做完了，但如果你讲不清楚，等于没做。这关训练你把复杂分析变成简单故事的能力。

📚 你会学到什么

  • 数据汇报：如何向不同受众（技术/业务/高管）讲不同的内容
  • 一页纸报告：把 50 页分析浓缩成 1 页（金字塔原理实践）
  • 数据产品文档：写别人能看懂的分析说明
  • 常见陷阱：信息过载、技术术语轰炸、没有结论只有图表

🔗 推荐资源

  • 书：《金字塔原理》Barbara Minto（结构化表达）
  • 书：《Storytelling with Data》Cole Nussbaumer Knaflic（数据故事）
  • TED Talk：Hans Rosling《The best stats you've ever seen》（经典数据演讲）

⚔️ 闯关任务

  1. 把第 1-4 关的任一产出改写成 3 个版本：
    • 技术版（给工程师看，有代码和细节）
    • 业务版（给产品经理看，有结论和建议）
    • 高管版（给 CEO 看，1 页 PPT，只有结论和影响）
  2. 录一段 3 分钟的口头讲解（用手机录），讲清楚一个分析结论
  3. 写一封"数据周报"邮件（200 字以内），汇报本周关键数据变化

🏆 通关产出

  1. 三版报告（技术/业务/高管，同一个分析，三种讲法）
  2. 3 分钟讲解视频（手机录制即可）
  3. 数据周报邮件模板

👾 Boss 挑战

选一个你做过的分析，做一次 5 分钟模拟汇报（录屏或现场）：

  • 前 30 秒说结论
  • 中间 3 分钟讲证据（3 个关键图表）
  • 最后 1 分钟讲建议和下一步

🧪 费曼检验

找一个完全不懂数据分析的朋友，给他讲 5 分钟你的分析。如果他问"所以呢？"，说明你没讲到位。

🤖 AI 提示

可以用 AI 模拟听众提问（如果你是 CEO，听到这个汇报你会问什么？），帮你发现表达漏洞。但汇报的框架和结论必须你自己组织。

🔓 下一关解锁条件

  • [ ] 三版报告完成（同一个分析，三种受众）
  • [ ] 3 分钟讲解录制完成
  • [ ] 至少一个非技术人员听懂了

🔮 第 6 关：预言家 — 让数据预测未来

通关目标：掌握机器学习核心技能，能对结构化数据做分类、回归、聚类。

这是整个旅程中 最大的一关，分两条路线：

📍 6A 主线：结构化数据（必过）

你会学到什么

  • 机器学习基础概念：监督/无监督、训练/验证/测试集、交叉验证、过拟合/欠拟合
  • 分类算法：逻辑回归、决策树、随机森林、XGBoost
  • 回归算法：线性回归、Ridge/Lasso 正则化、XGBoost Regressor
  • 聚类算法：K-Means、DBSCAN、层次聚类
  • 特征工程：缺失值处理、One-Hot/Label 编码、标准化/归一化、特征选择
  • 模型评估：准确率、精确率、召回率、F1、ROC/AUC、混淆矩阵、RMSE/MAE
  • 工具：scikit-learn

推荐资源

  • Kaggle Learn 机器学习课程（免费，循序渐进）
  • 书：《Hands-On ML with Scikit-Learn》 Aurélien Géron（机器学习圣经）
  • 书：《统计学习方法》 李航（数学推导清晰，中文）
  • YouTube：StatQuest 机器学习系列

闯关任务

别被任务数量吓到。回归和分类是必做（数据分析最核心的两个能力），聚类强烈建议做（理解无监督思维），文本和图像看你的方向选做。先完成必做的，有精力再扩展。

  1. [必做] 回归项目：Kaggle House Prices
    • EDA → 特征工程 → 模型训练（线性回归 → Ridge/Lasso → XGBoost）→ 调参
    • 目标：提交分数排到前 30%
  2. [必做] 分类项目：Kaggle 信用卡欺诈检测
    • 处理严重不平衡数据（SMOTE、class weight）
    • 对比多种模型，选最优
    • 目标：F1 score > 0.85
  3. [建议做] 聚类项目：用客户消费数据做客户分群
    • K-Means vs DBSCAN 对比
    • 用轮廓系数评估聚类质量

Boss 挑战 参加一个 Kaggle 竞赛，拿到 铜牌以上。推荐：

  • House Prices（回归入门）
  • Spaceship Titanic（分类入门）
  • Tabular Playground Series（每月一期，适合练手）

费曼检验 你能解释你的模型 为什么 做出这个预测吗？不是"精度 95%"，而是"这个客户被判定为欺诈，因为他的交易金额是平时的 50 倍，且在凌晨 3 点进行"。

通关产出

  • 3 个完整项目 Notebook（回归 + 分类 + 聚类）
  • Kaggle 铜牌截图

🤖 AI 提示

可以用 AutoML 工具（PyCaret、H2O）快速建立 baseline，然后你手动调优超越它。可以用 AI 解释模型行为（为什么这个特征重要性这么高？）。但不要用 AI 直接生成最终模型 — 调参和特征工程是你的核心竞争力。

📍 6B 进阶：非结构化数据（选做）

整体选做。时间够或项目需要时解锁。第 10 关想做医学图像分类的话，图像路线必须过。

时间够或项目需要时解锁。第 10 关想做医学图像分类的话，这里必须过。

文本分析路线

  • NLP 基础：分词、去停用词、词袋模型、TF-IDF
  • 词向量化：Word2Vec、GloVe 概念
  • 情感分析：用 sklearn 做简单的文本分类
  • 主题建模：LDA（Latent Dirichlet Allocation）
  • 工具：NLTK / spaCy / scikit-learn

图像分析路线

  • CNN 基础：卷积层、池化层、全连接层
  • PyTorch 入门：Tensor、Dataset、DataLoader、训练循环
  • 迁移学习：ResNet、EfficientNet（用预训练模型微调）
  • 医学影像分类实战
  • 工具：PyTorch + torchvision
  • 补充：Notion CIT694 的 chest_xray_demo.ipynb

Boss 挑战 做一个 文本情感分析 或 图像分类 的 demo（Gradio 部署）。

🐉 第 7 关：架构师 — 设计数据架构

通关目标：从"会用大数据工具"升级到"懂为什么这么选"。以你当前工作（扫地机器人埋点上报）为真实场景，用第一性原理思考架构选型。

📚 你会学到什么

湖仓一体（Lakehouse）架构

  • 数据湖 vs 数据仓库 vs 湖仓一体：三者的本质区别和适用场景
  • 主流方案：Apache Hudi、Apache Iceberg、Delta Lake
  • 为什么湖仓一体是趋势：兼顾成本（数据湖）和性能（数仓）

OLAP 引擎选型

  • ClickHouse vs StarRocks vs Doris vs Apache Druid：核心差异
  • 你的工作为什么用 StarRocks？什么场景下 ClickHouse 更合适？
  • 向量化执行、列式存储、实时更新能力对比

实时计算选型

  • Flink vs Spark Streaming vs Kafka Streams
  • 为什么用 Flink？什么场景下 Spark Streaming 够用？
  • 流批一体架构思想

数据分层与调度

  • ODS → DWD → DWS → ADS 分层思想：每层解决什么问题
  • DolphinScheduler / Airflow 调度：DAG、依赖管理、重试策略
  • 数据质量：分层校验、SLA 监控

🔗 推荐资源

  • StarRocks 官方文档（docs.starrocks.io，架构设计章节）
  • ClickHouse 官方文档（clickhouse.com/docs）
  • Apache Flink 官方文档（flink.apache.org）
  • 书：《数据密集型应用系统设计》Martin Kleppmann（DDIA，架构圣经）
  • 文章：湖仓一体架构演进（各大厂技术博客）

⚔️ 闯关任务

  1. 架构复盘：画一张你当前工作的数据架构图（Flink → StarRocks + ODS/DWD/DWS + DolphinScheduler），标注数据流向和每层的作用
  2. 选型对比：写一份对比分析（表格），对比 StarRocks vs ClickHouse vs Doris 在以下维度：
    • 查询性能（OLAP 场景）
    • 实时更新能力
    • 运维复杂度
    • 社区活跃度
    • 你的业务场景适配度
  3. 湖仓一体调研：调研 Apache Iceberg / Hudi / Delta Lake 三者差异，选出最适合你当前架构的方案，说明理由
  4. 架构升级方案：如果扫地机器人设备量从 10 万增长到 1000 万，你当前架构会遇到什么瓶颈？怎么解决？

🏆 通关产出

  1. 当前架构图（含数据流向标注）
  2. OLAP 选型对比分析（表格 + 结论）
  3. 湖仓一体选型报告
  4. 架构升级方案（1000 万设备场景）

👾 Boss 挑战

用第一性原理，从零设计一套 IoT 埋点上报架构：

  • 设备端：数据采集协议设计（上报什么、频率、压缩、离线缓存）
  • 传输层：MQTT vs HTTP vs 自定义协议
  • 实时层：Flink 流处理（实时告警、实时指标）
  • 离线层：ODS/DWD/DWS 分层 + 定时调度
  • 查询层：StarRocks / ClickHouse（选型 + 理由）
  • 湖仓层：Iceberg / Hudi（选型 + 理由）
  • 监控：数据质量 + SLA + 告警

最终产出一份完整的架构设计文档，可以拿去跟架构师讨论。

🧪 费曼检验

你能向一个非技术老板解释：为什么用 StarRocks 而不是 ClickHouse？为什么用 Flink 而不是 Spark Streaming？如果他说"我朋友公司用 ClickHouse 说很好"，你怎么回应？

🤖 AI 提示

非常适合用 AI 做技术选型对比（对比 StarRocks 和 ClickHouse 在 IoT 高并发写入场景的差异）。但最终选型决策必须你自己做 — AI 会给你均衡的对比，而实际决策需要权衡你团队的现状。

🔓 下一关解锁条件

  • [ ] 当前架构图画清楚
  • [ ] OLAP 选型对比有理有据
  • [ ] 架构升级方案考虑了瓶颈和解决方案
  • [ ] 能口述选型逻辑

🛡️ 第 8 关：守护者 — 理解数据生态

通关目标：不只是会用数据，还要懂数据怎么管、怎么保护、怎么合规。

📚 你会学到什么

  • 信息系统类型：ERP、CRM、DSS、BI、MES
  • 数据安全与隐私：GDPR 核心原则、数据脱敏方法、加密基础、访问控制
  • 数据治理：数据质量 6 维度、元数据管理、数据血缘、数据目录
  • 信息安全基础：CIA 三要素、常见攻击类型、安全开发生命周期
  • 合规与伦理：数据使用的道德边界、算法偏见、隐私计算

🔗 推荐资源

  • 书：《数据治理与数据安全》（中文）
  • OWASP 官网（owasp.org，安全最佳实践）
  • GDPR 官方文本（gdpr.eu）
  • 补充阅读：Notion CIT642 PPT（数据管理规划）

⚔️ 闯关任务

  1. 调研一个数据泄露案例（如 Cambridge Analytica），写 500 字分析：发生了什么、为什么、怎么避免
  2. 列出数据质量的 6 个维度，给每个维度设计一个可量化的检查指标
  3. 设计一个数据脱敏方案：对一份包含身份证、手机号、地址的数据做脱敏
  4. 写一个 Python 自动化脱敏脚本：输入原始 CSV，输出脱敏后的 CSV
    • 身份证：保留前 3 后 4，中间用 * 替换
    • 手机号：保留前 3 后 4，中间用 * 替换
    • 地址：只保留省市，删除详细地址
    • 邮箱：用户名部分用 *** 替换
    • 用 pandas + re 实现，做成 CLI 工具

🏆 通关产出

  1. 数据安全与治理检查清单：可用于评估一个组织的数据管理成熟度
  2. 数据治理成熟度评估框架：从 L1（初始）到 L5（优化），每个级别有明确的评估标准
  3. 自动化脱敏脚本（Python CLI 工具，可复用）

👾 Boss 挑战

写一份 "数据安全与治理检查清单"，拿到任何一家公司都能用这套清单快速评估：

  • 数据安全（10+ 检查项）
  • 数据质量（10+ 检查项）
  • 数据治理（10+ 检查项）
  • 合规性（10+ 检查项）
  • 每项有评分标准（0/1/2 分）

🧪 费曼检验

给你一个公司的数据架构描述，你能指出 3 个最紧迫的风险 吗？

🤖 AI 提示

可以用 AI 帮你设计检查清单、润色安全策略文档。但合规和安全决策不能完全依赖 AI — 这些领域有法规约束，需要人工核实。

🔓 下一关解锁条件

  • [ ] 检查清单覆盖 4 大维度 40+ 检查项
  • [ ] 能对一个假设场景做风险诊断
  • [ ] 案例分析逻辑清晰

📜 第 9 关：学者 — 从零摸清一个领域

通关目标：给你一个完全陌生的领域，1 周内从零产出一篇有深度的调研报告 + 文献综述。

📚 你会学到什么

第一步：领域调研（给老板看的）

  • 信息源类型：行业报告（Gartner/McKinsey）、技术博客、开源项目、学术论文、竞品产品、用户评价
  • 调研方法论：PEST 分析、波特五力、技术雷达、SWOT
  • 快速画地图：用 1-2 页纸概括一个领域（玩家是谁、技术路线怎么分、趋势往哪走）
  • AI 辅助调研：用 AI 工具加速信息收集和整理（注意验证）

第二步：文献管理（工具层）

  • Zotero（免费，推荐）：建库、标签体系、PDF 管理、浏览器插件一键收藏
  • 高效读论文：三遍读法（第一遍看摘要结论，第二遍看图表方法，第三遍精读关键部分）
  • 文献搜索：Google Scholar、Web of Science、中国知网、Semantic Scholar
  • AI 辅助阅读：用 AI 总结论文要点（辅助，不替代）

第三步：文献综述（给同行看的）

  • CRIPE 框架：
    • Critique — 批判现有研究（哪里不够？）
    • Research — 提出研究问题（要解决什么？）
    • Integration — 整合理论（站在谁肩膀上？）
    • Practice — 实践验证（怎么证明你的方法有效？）
    • Evaluation — 评估效果（结果说明了什么？）
  • 学术写作：IMRAD 结构（Introduction / Methods / Results / And Discussion）
  • 引用格式：APA / Chicago
  • 查重工具：Turnitin / 知网查重（<10%）

🔗 推荐资源

  • 书：《Writing Science》 Joshua Schimel（学术写作经典）
  • 书：《学术写作手册》（中文）
  • Zotero 官方教程（zotero.org）
  • Gartner 技术趋势报告（gartner.com）
  • CB Insights 行业地图（cbinsights.com）
  • 补充阅读：Notion CIT500/501 PPT（学术写作与研究方法）

⚔️ 闯关任务

阶段一：领域调研

  1. 选一个你感兴趣但完全陌生的领域（如"隐私计算"、"边缘计算"、"联邦学习"）
  2. 用 3 天时间收集信息：行业报告 3 篇 + 技术博客 5 篇 + 顶会论文 5 篇 + 开源项目 3 个
  3. 画一张"领域全景图"（1 页）：技术路线分类、主要玩家、发展阶段、核心挑战

阶段二：文献管理

  1. 安装 Zotero，建一个文献库，至少收录 20 篇相关论文
  2. 用三遍读法精读 3 篇核心论文
  3. 用 CRIPE 框架拆解一篇好论文的论证逻辑

阶段三：文献综述

  1. 基于调研中发现的关键技术问题，确定综述主题
  2. 用 CRIPE 框架组织论点
  3. 写 3000 字文献综述，至少引用 15 篇论文

🏆 通关产出

  1. 领域调研报告（1-2 页，结论先行，金字塔原理，大白话）
  2. 领域全景图（1 页，技术路线 + 玩家 + 趋势）
  3. 文献综述（3000 字，CRIPE 框架，15+ 引用，<10% 查重）
  4. Zotero 文献库（20+ 篇，标签分类）

👾 Boss 挑战

选一个你完全陌生的领域，1 周内完成：

  1. 产出一份让人读完觉得"这人懂这个领域"的调研报告
  2. 产出一篇同行评审者认可的文献综述
  3. 两份文档互相呼应：调研报告中的技术判断有文献支撑，文献综述中的学术问题有行业背景

🧪 费曼检验

  • 调研报告：给一个非技术人员看，他 3 分钟内能说清这个领域是干嘛的
  • 文献综述：给一个同行看，他觉得"这个人做了功课"还是"东拼西凑"

🤖 AI 提示

可以用 AI 辅助读论文（总结这篇论文的核心贡献和方法）、检查综述的逻辑连贯性。但绝对不要让 AI 帮你写文献综述 — 这是学习如何思考的过程。用 AI 做质检，不做代写。

🔓 下一关解锁条件

  • [ ] 调研报告完整（结论先行、全景图、有数据支撑）
  • [ ] 文献综述完整（CRIPE 框架、15+ 引用、<10% 查重）
  • [ ] Zotero 文献库有序分类
  • [ ] 两份文档互相呼应（不是割裂的两篇独立文章）

👑 第 10 关：终极 Boss — 从零到一

通关目标：从提出问题到交付成果，完整走一遍数据分析全流程。

📚 你会用到前面 9 关的所有技能

  • 第 1-3 关的统计基础
  • 第 4 关的可视化能力
  • 第 5 关的业务思维
  • 第 6 关的建模能力
  • 第 7-8 关的工程和治理意识
  • 第 9 关的学术写作

🎯 方案建议（三选一）

| 方案 | 适合场景 | 难度 | |------|---------|------| | A. Chest X-Ray 医学图像分类 | 对医疗 AI 感兴趣 | ⭐⭐⭐⭐ | | B. Kaggle 竞赛冲银牌 | 想刷简历 | ⭐⭐⭐⭐ | | C. 自选业务分析项目 | 有具体业务问题想解决 | ⭐⭐⭐ |

方案 A 用到 Notion CIT694 的资源，有现成的 notebook 可以参考。 方案 B 建议选一个你感兴趣的比赛，深入做。 方案 C 最灵活，但需要自己找数据。

⚔️ 闯关任务

  1. 定义问题：用一句话说清楚你要解决什么问题
  2. 找数据：数据从哪来？质量怎么样？
  3. 清洗：缺失值、异常值、重复值处理
  4. EDA：探索性分析，发现规律
  5. 建模：选合适的模型，训练、调参、评估
  6. 可视化：用图表和仪表盘展示结果
  7. 输出：写分析报告 + 搭 demo

🏆 最终产出

  1. GitHub 仓库：代码 + 数据 + 文档，README 写好
  2. 在线 Demo：Streamlit / Gradio 部署
  3. 分析报告：结构化、有洞察、可复现
  4. GitHub Profile 优化：项目置顶、README 美化

👾 Boss 挑战

把这个项目放到简历上。面试官追问任何细节你都能答上来：

  • 为什么选这个模型？
  • 这个特征是怎么想到的？
  • 如果数据量增加 100 倍怎么办？
  • 这个结论有什么局限性？

🧪 费曼检验

你能用 15 分钟 把这个项目从头讲到尾，让一个非技术人员听懂并觉得有价值吗？能做到，恭喜你，通关了。

🤖 AI 提示

可以用 AI 帮你检查代码质量、生成 README 模板、模拟面试官提问。**但项目选题、问题定义、核心分析必须你自己完成。**面试官一眼就能看出哪些是你的思考、哪些是 AI 生成的。

🔓 最终解锁条件

  • [ ] GitHub 仓库完整（代码可运行、文档齐全）
  • [ ] Demo 线上可访问
  • [ ] 分析报告结构完整
  • [ ] 能 15 分钟讲清楚项目价值

📊 总进度

| 关卡 | 名称 | 状态 | 产出 | |------|------|------|------| | 1 | 🏰 新手村 | ⬜ 未开始 | 数据画像 Notebook | | 2 | 🧭 探险者 | ⬜ 未开始 | 回归分析报告 | | 3 | 🔍 侦探 | ⬜ 未开始 | A/B 测试方案 | | 4 | 🎨 故事大王 | ⬜ 未开始 | 交互式仪表盘 | | 5 | 🎖️ 军师 | ⬜ 未开始 | 业务分析报告 | | 5.5 | 🎙️ 外交官 | ⬜ 未开始 | 三版报告 + 讲解视频 | | 6 | 🔮 预言家 | ⬜ 未开始 | Kaggle 铜牌 | | 7 | 🐉 架构师 | ⬜ 未开始 | 架构设计文档 | | 8 | 🛡️ 守护者 | ⬜ 未开始 | 治理检查清单 | | 9 | 📜 学者 | ⬜ 未开始 | 调研报告 + 文献综述 | | 10 | 👑 终极 Boss | ⬜ 未开始 | 完整项目 Portfolio |

💡 提示：不是必须按顺序来。如果你对某一关特别感兴趣，可以直接跳过去。但建议至少完成 1-3 关再自由探索，统计基础是后面一切的根基。

最后更新：2026-04-20

关系图谱

反向链接