技能树 🌳
打勾表示已掌握，方框是待解锁。标
[-]的有基础但需要系统化。 按 10 关组织，通关一路点亮。
🏰 第 1 关：新手村
描述性统计
- [ ] 均值（Mean）
- [ ] 中位数（Median）
- [ ] 众数（Mode）
- [ ] 标准差（Standard Deviation）
- [ ] 方差（Variance）
- [ ] 四分位数（Q1, Q2, Q3）
- [ ] 偏度（Skewness）
- [ ] 峰度（Kurtosis）
分布
- [ ] 正态分布及其性质
- [ ] 长尾分布（幂律分布）
- [ ] 二项分布
- [ ] 均匀分布
异常值检测
- [ ] IQR 方法（四分位距）
- [ ] Z-score 方法
- [ ] 箱线图识别异常值
工具
- [-] pandas describe() 和统计方法
- [-] matplotlib 直方图
- [-] seaborn 箱线图 / 小提琴图
数据获取
- [ ] Kaggle 数据集搜索和使用
- [ ] UCI ML Repository
- [ ] Google Dataset Search
- [ ] API 调用（requests + API Key）
- [ ] JSON 解析
- [ ] CSV/JSON/Parquet 读写
- [ ] 简单爬虫（requests + BeautifulSoup）
- [ ] 数据质量评估（行数、列数、缺失率、数据类型）
🧭 第 2 关：探险者
相关分析
- [ ] Pearson 相关系数（线性关系）
- [ ] Spearman 相关系数（单调关系）
- [ ] 散点图矩阵（pairplot）
- [ ] 相关性热力图
回归分析
- [ ] 简单线性回归
- [ ] 多元线性回归
- [ ] 回归系数解读
- [ ] R²（决定系数）
- [ ] 残差分析（正态性、同方差性）
- [ ] 多重共线性（VIF）
- [ ] statsmodels 库使用
方差分析
- [ ] 单因素 ANOVA
- [ ] 组间 vs 组内方差
- [ ] 事后检验（Tukey HSD）
🔍 第 3 关：侦探
假设检验基础
- [ ] 零假设 / 备择假设
- [ ] 检验统计量
- [ ] p 值的正确理解
- [ ] 第一类错误（α）/ 第二类错误（β）
- [ ] 统计功效（Power）
- [ ] 置信区间
常用检验
- [ ] 独立样本 t 检验
- [ ] 配对样本 t 检验
- [ ] 单样本 t 检验
- [ ] 卡方检验（独立性检验）
- [ ] Mann-Whitney U 检验（非参数）
- [ ] Shapiro-Wilk 正态性检验
A/B 测试
- [ ] 样本量计算（功效分析）
- [ ] 随机分组策略
- [ ] 结果解读框架
- [ ] 多重检验校正（Bonferroni）
- [ ] FDR 校正（Benjamini-Hochberg）
- [ ] scipy.stats 库使用
模拟能力
- [ ] 蒙特卡洛模拟
- [ ] 用代码验证统计定理
🎨 第 4 关：故事大王
数据获取
- [ ] 公开数据集（Kaggle、UCI ML Repository、政府开放数据、Google Dataset Search）
- [ ] REST API 调用（API Key 管理、分页处理、JSON 解析）
- [ ] 简单爬虫（requests + BeautifulSoup，遵守 robots.txt）
- [ ] 数据格式（CSV、JSON、Parquet、数据库连接）
- [ ] 数据质量初步评估（行数、列数、缺失率、数据类型）
EDA 方法论
- [ ] 变量类型识别（数值/分类/时间/文本）
- [ ] 缺失值分析（比例、模式）
- [ ] 缺失值处理（删除/填充/插值）
- [ ] 特征分布分析
- [ ] 变量关系探索
可视化原则
- [ ] 图表类型选择（比较/构成/分布/关系）
- [ ] 颜色理论（色盲友好、连续/分类用色）
- [ ] 图表标注（标题、轴标签、图例、注释）
- [ ] 避免误导性图表
- [ ] Tufte 原则（数据墨水比）
图表类型（10+ 种）
- [ ] 柱状图 / 条形图
- [ ] 折线图
- [ ] 散点图
- [ ] 热力图
- [ ] 箱线图
- [ ] 小提琴图
- [ ] 直方图 / 密度图
- [ ] 饼图 / 环形图
- [ ] 堆叠面积图
- [ ] 分面图（Facet）
- [ ] 树状图（Treemap）
- [ ] 平行坐标图
- [ ] 地理图（Choropleth）
工具
- [-] matplotlib 基础
- [ ] seaborn 统计图表
- [ ] Plotly 交互式图表
- [ ] Streamlit 仪表盘搭建
- [ ] Gradio demo 搭建
🎖️ 第 5 关：军师
指标体系
- [ ] 北极星指标定义
- [ ] 漏斗分析
- [ ] 留存分析
- [ ] 同期群分析（Cohort Analysis）
- [ ] 指标分层设计（北极星 → 一级 → 二级）
数据故事
- [ ] 金字塔原理（结论先行）
- [ ] SCQA 框架
- [ ] 数据驱动的叙事结构
案例分析
- [ ] Netflix 推荐算法的商业价值
- [ ] Uber 动态定价策略
- [ ] Airbnb 定价策略
数据产品
- [ ] 数据看板设计原则
- [ ] 报表自动化
- [ ] 数据产品需求文档
🎙️ 第 5.5 关：外交官
数据汇报
- [ ] 向不同受众讲不同内容（技术/业务/高管）
- [ ] 一页纸报告（金字塔原理实践）
- [ ] 三版改写（同一分析，三种讲法）
- [ ] 数据周报写作（200 字以内）
- [ ] 口头讲解能力（3 分钟讲清一个结论）
常见陷阱
- [ ] 信息过载识别
- [ ] 技术术语轰炸避免
- [ ] "只有图表没有结论" 检查
🔮 第 6 关：预言家
6A：机器学习基础
- [ ] 监督学习 vs 无监督学习
- [ ] 训练集 / 验证集 / 测试集划分
- [ ] 交叉验证（K-Fold）
- [ ] 过拟合 / 欠拟合
- [ ] 偏差-方差权衡
分类算法 [必做]
- [ ] 逻辑回归
- [ ] 决策树
- [ ] 随机森林
- [ ] XGBoost
- [ ] 不平衡数据处理（SMOTE、class weight）
回归算法 [必做]
- [ ] 线性回归
- [ ] Ridge 正则化
- [ ] Lasso 正则化
- [ ] XGBoost Regressor
聚类算法 [建议做]
- [ ] K-Means
- [ ] DBSCAN
- [ ] 层次聚类
- [ ] 轮廓系数评估
特征工程
- [ ] 缺失值处理策略
- [ ] One-Hot 编码
- [ ] Label 编码
- [ ] 标准化（StandardScaler）
- [ ] 归一化（MinMaxScaler）
- [ ] 特征选择（过滤法/包裹法/嵌入法）
- [ ] 特征交叉 / 多项式特征
模型评估
- [ ] 准确率（Accuracy）
- [ ] 精确率（Precision）
- [ ] 召回率（Recall）
- [ ] F1 Score
- [ ] ROC 曲线 / AUC
- [ ] 混淆矩阵
- [ ] RMSE / MAE / R²（回归评估）
工具
- [ ] scikit-learn 全流程
- [ ] XGBoost 库
- [ ] imbalanced-learn
6B：非结构化数据（选做）
文本分析
- [ ] 分词（Tokenization）
- [ ] 去停用词
- [ ] 词袋模型 / TF-IDF
- [ ] Word2Vec / GloVe 概念
- [ ] 情感分析
- [ ] 主题建模（LDA）
- [ ] NLTK / spaCy 使用
图像分析
- [ ] CNN 基础（卷积、池化、全连接）
- [ ] PyTorch 入门（Tensor、Dataset、DataLoader）
- [ ] 训练循环编写
- [ ] 迁移学习（ResNet / EfficientNet）
- [ ] 数据增强
- [ ] 医学影像分类
🐉 第 7 关：架构师
湖仓一体（Lakehouse）
- [ ] 数据湖 vs 数据仓库 vs 湖仓一体
- [ ] Apache Hudi
- [ ] Apache Iceberg
- [ ] Delta Lake
OLAP 引擎
- [ ] StarRocks（架构、特性）
- [ ] ClickHouse（架构、特性）
- [ ] Apache Doris
- [ ] 向量化执行、列式存储
- [ ] 选型对比方法
实时计算
- [ ] Apache Flink
- [ ] Spark Streaming
- [ ] Kafka Streams
- [ ] 流批一体架构
数据分层与调度
- [ ] ODS → DWD → DWS → ADS 分层
- [ ] DolphinScheduler / Airflow
- [ ] DAG 调度、依赖管理
- [ ] 数据质量校验、SLA 监控
🛡️ 第 8 关：守护者
信息系统
- [ ] ERP（企业资源计划）
- [ ] CRM（客户关系管理）
- [ ] DSS（决策支持系统）
- [ ] BI（商业智能）
- [ ] MES（制造执行系统）
数据安全
- [ ] Python 脱敏脚本（pandas + re，CLI 工具）
- [ ] GDPR 核心原则
- [ ] 数据脱敏方法（k-匿名、差分隐私）
- [ ] 加密基础（对称/非对称/哈希）
- [ ] 访问控制（RBAC）
- [ ] CIA 三要素
数据治理
- [ ] 数据质量 6 维度
- [ ] 元数据管理
- [ ] 数据血缘
- [ ] 数据目录
- [ ] 数据治理成熟度模型
合规与伦理
- [ ] 算法偏见识别
- [ ] 隐私计算（联邦学习、安全多方计算）
- [ ] 数据使用的道德边界
- [ ] 安全开发生命周期
📜 第 9 关：学者
领域调研
- [ ] 信息源识别（行业报告 / 技术博客 / 学术论文 / 开源项目 / 竞品）
- [ ] PEST 分析
- [ ] 波特五力分析
- [ ] 技术雷达绘制
- [ ] SWOT 分析
- [ ] 领域全景图（1 页）
- [ ] 调研报告写作（结论先行、金字塔原理）
- [ ] AI 辅助调研（信息收集 + 验证）
CRIPE 框架
- [ ] Critique（批判现有研究）
- [ ] Research（提出研究问题）
- [ ] Integration（整合理论）
- [ ] Practice（实践验证）
- [ ] Evaluation（评估效果）
文献管理
- [ ] Zotero 安装和使用
- [ ] 文献标签分类
- [ ] 自动生成参考文献
文献搜索
- [ ] Google Scholar 高级搜索
- [ ] Web of Science
- [ ] 中国知网
- [ ] Semantic Scholar
- [ ] 引用追踪（谁引用了这篇）
- [ ] 三遍读法（摘要→图表→精读）
- [ ] AI 辅助论文阅读（辅助，不替代）
学术写作
- [ ] IMRAD 结构
- [ ] 摘要写作（100/200/300 字）
- [ ] 引言写作（建立研究空白）
- [ ] 文献综述写作（不是罗列，是综合）
- [ ] 方法部分（可复现性）
- [ ] 结果呈现（图表 + 描述）
- [ ] 讨论部分（局限性和启示）
- [ ] APA / Chicago 引用格式
- [ ] 查重（<10%）
👑 第 10 关：终极 Boss
全流程整合
- [ ] 问题定义
- [ ] 数据获取
- [ ] 数据清洗
- [ ] 探索性分析
- [ ] 建模
- [ ] 可视化
- [ ] 结果输出
工程能力
- [ ] GitHub 仓库管理
- [ ] README 撰写
- [ ] 代码可复现性
- [ ] 在线 Demo 部署（Streamlit Cloud / Hugging Face Spaces）
职场能力
- [ ] 项目展示（15 分钟讲述）
- [ ] 面试问答准备
- [ ] GitHub Profile 优化
📊 统计：共 130+ 个技能点，按 10 关解锁。每个关卡点亮约 13 个技能。 💡 进度追踪：定期回顾技能树，把新掌握的技能打勾。 🎯 目标：通关时点亮 80% 以上技能点，最终 Boss 关要求 100% 整合能力。
最后更新：2026-04-20