📐 数学补给站
本关涉及数学模块：③ 概率统计（假设检验与贝叶斯推断）
| 数学概念 | 本关用途 | 深入参考 | |---------|---------|---------| | 假设检验（零假设/备择假设/p 值） | A/B 测试的核心逻辑 | 数学-③ 概率统计 | | 置信区间 | 估计"真实差异"的范围，不只是"显著/不显著" | 同上 | | t 分布 & 正态分布 | 小样本用 t 检验，大样本用 z 检验 | 同上 | | 贝叶斯推断 | 贝叶斯 A/B 测试（Airbnb 在用） | 数学-③ 概率统计 | | 大数定律 & 中心极限定理 | 为什么样本量越大 p 值分布越接近理论值 | 数学-③ 概率统计 |
快速自测：
- p = 0.03 到底是什么意思？（不能说"有 97% 概率是真的"）
- 为什么样本量越大，置信区间越窄？
- 贝叶斯推断和频率学派的 A/B 测试有什么本质区别？
答不上来的去对应数学模块补课。
第 3 关：侦探 — 判断你的发现靠不靠谱
48h 学习法驱动：统计推断的知识地图 → 动手验证 → 关 AI 自测 → 费曼输出
Step 1：本关资料（海量输入）
| 资料类型 | 具体资料 | 用途 | |----------|---------|------| | 数据集 | Kaggle Wine Quality + 模拟数据（numpy.random） | 假设检验 + A/B 测试实验 | | 视频 | StatQuest: p-values / A/B Testing / Confidence Intervals (YouTube) | p 值、A/B 测试、置信区间直觉 | | 书 | 《统计数字会撒谎》Darrell Huff | 统计数字被误用的经典案例 | | 在线工具 | Seeing Theory (brown.edu) | 可视化理解置信区间、假设检验 | | 课程 | Khan Academy: Hypothesis Testing | 假设检验系统课程 | | 论文 | Kohavi 的 A/B Testing 指南 + Benjamini-Hochberg FDR 论文 | 工业界实践 + 多重检验校正 |
Step 2：本关心智模型
心智模型 1：假设检验模型
- 核心思想：用数据判断"这个发现是真的还是碰巧的"。核心逻辑：假设"没有差异"（零假设），然后看数据能不能推翻它
- 关键变量：α（显著性水平，默认 0.05）、p 值（零假设为真时观察到当前或更极端结果的概率）、统计功效（1-β，能检测到真实差异的概率）
- 应用场景：A/B 测试、医学临床试验、科学研究结论验证
- 局限性：p 值不回答"备择假设为真的概率"，只回答"零假设为真时数据有多奇怪"。统计显著 ≠ 实际显著
- 相关资料：StatQuest p-values, Benjamin et al. Nature Human Behaviour 2018
心智模型 2：置信区间模型
- 核心思想：不是一个点估计，而是一个"可信范围"。正确理解：重复实验 100 次，约 95 次的区间会包含真实值
- 关键变量：样本量（越大区间越窄）、标准误（波动越大区间越宽）、置信水平（95% 惯例，99% 更保守）
- 应用场景：选举民调、药物效果估计、转化率范围估计
- 局限性：CI 不告诉你"真实值有 95% 概率在这个区间内"（这是贝叶斯可信区间的含义）
- 相关资料：Seeing Theory, Cumming "The New Statistics"
心智模型 3：A/B 测试设计模型
- 核心思想：实验设计的质量决定了结论的可信度。样本量、随机化、运行时间、多重检验校正缺一不可
- 关键变量：效应量（最小可检测差异）、基线转化率、统计功效（通常 80%）、α 水平
- 应用场景：互联网产品迭代、算法优化验证、营销策略评估
- 局限性：网络效应、新奇效应、实验污染会让简单的 A/B 测试变得复杂
- 相关资料：Kohavi "Trustworthy Online Controlled Experiments", CUPED 方差缩减方法
Step 3：本关分歧点
分歧 1：p < 0.05 这个阈值本身对不对？
- A 方（传统派）：0.05 是 Fisher 定下的惯例，沿用了几十年，改了就乱了
- B 方（改革派）：Benjamin et al. (Nature 2018) 提议降到 0.005，因为 0.05 导致太多假阳性。贝叶斯学派则认为应该直接放弃 p 值
- 实践倾向：看场景。探索性研究可以宽松，关键决策（医疗、金融）需要更严格
- 为什么重要：这是统计推断领域最基础的争议，理解它才能正确使用 p 值
分歧 2：频率学派 vs 贝叶斯学派
- A 方（频率学派）：p 值、置信区间、假设检验是标准工具。参数是固定的未知值
- B 方（贝叶斯学派）：应该用后验概率。参数是随机变量，可以随着数据更新信念。Airbnb 已经在用贝叶斯 A/B 测试
- 实践倾向：两者互补。频率学派适合快速验证，贝叶斯适合持续更新
- 为什么重要：决定了你用"显著/不显著"的二元判断，还是"信念更新"的连续思维
分歧 3：多重检验校正要不要做？
- A 方（严格派）：Bonferroni 校正，宁可错过不可放过
- B 方（实用派）：Bonferroni 太保守，会漏掉真实效应。FDR 校正更平衡，控制的是"假阳性比例"而非"出现任一假阳性的概率"
- 实践倾向：基因组学和大数据场景用 FDR；关键安全场景用 Bonferroni
- 为什么重要：不做校正 → 假阳性泛滥；过度校正 → 真实效应被漏掉
Step 4：闯关任务（动手验证）
🎯 本关目标
- 从"发现差异"进化到"判断差异是否真实"
- 对应工程能力：能设计 A/B 测试、正确解读 p 值和置信区间、避免统计陷阱
子任务 1：选择检验方法
- 用
scipy.stats完成以下检验：- t 检验：比较两组数值变量的均值（如：红白酒的平均 quality 是否不同）
- 卡方检验：检验分类变量的独立性
- Mann-Whitney U 检验：非参数检验，当数据不满足正态假设时使用
- 对比参数检验和非参数检验的结果差异
- 输出：每种检验的 p 值 + 检验选择理由
子任务 2：模拟验证直觉
- 用 Python 模拟掷硬币：掷 10/100/1000 次，各重复 1000 次，画分布图
- 观察：随着样本量增大，比例分布如何变化？
- 输出：3 张分布图 + 大数定律和中心极限定理的直观解释
子任务 3：设计 A/B 测试
- 场景：电商按钮颜色，红色 vs 绿色，当前转化率 5%，预期提升到 5.5%
- 计算需要的样本量（
statsmodels.stats.power） - 模拟运行测试：用
numpy.random生成两组数据，计算 p 值和置信区间 - 输出：样本量计算过程 + 模拟测试结果 + 决策建议
子任务 4：p 值的真相
- 模拟 1000 次 A/B 测试（两组数据来自同一分布，即"没有真实差异"）
- 记录每次的 p 值，画 p 值分布图
- 统计 p < 0.05 的次数 → 应该接近 50 次（5%）
- 输出：p 值分布图 + 对"p < 0.05"含义的理解
子任务 5：多重检验陷阱
- 同时检验 20 个指标（模拟数据，无真实差异）
- 统计不校正时 p < 0.05 的次数
- 用 Bonferroni 校正和 FDR（Benjamini-Hochberg）校正
- 对比三种方法的"显著发现"数量
- 输出：三种方法对比表 + 多重检验校正的必要性说明
💬 AI 教练对话（做任务时用）
以下 4 个 Prompt 在做 Step 4 任务时按需使用。AI 只引导不代答。
Prompt 1：理解问题（子任务 3，完成 A/B 测试后）
我做了 A/B 测试，比较红色按钮和绿色按钮的转化率：
- 红色：5000 次访问，245 次转化（4.9%）
- 绿色：5000 次访问，275 次转化（5.5%）
- p 值 = 0.038
请引导我思考：
1. p = 0.038 的准确含义是什么？（注意：不是"绿色按钮更好的概率是 96.2%"）
2. 如果我只测了 500 次而不是 5000 次，同样的转化率差异，p 值会更大还是更小？为什么？
3. 置信区间能给我什么信息，是 p 值给不了的？
不要直接给答案，让我先用自己的话解释 p 值。
Prompt 2：Debug（子任务 4，模拟 p 值分布时）
我模拟了 1000 次 A/B 测试（两组数据来自同一分布），
发现 p < 0.05 的次数是 523 次，远超预期的 50 次。
请帮我排查：
1. p < 0.05 的理论预期次数应该是多少？为什么？
2. 如果实际次数远超预期，最可能的原因是什么？提示我检查代码中的哪些地方。
3. 给我 3 个排查方向，按可能性排序。
注意：不要直接告诉我 bug 在哪里。
Prompt 3：模型提取（子任务 5 完成后）
我刚完成了多重检验的实验，发现：
- 20 个指标不校正时有 4 个"显著"（p < 0.05）
- Bonferroni 校正后只剩 1 个
- FDR 校正后有 2 个
请帮我：
1. 归纳"多重检验"问题的本质——为什么会"假阳性膨胀"？
2. 引导我思考：Bonferroni 和 FDR 的取舍逻辑是什么？
3. 在什么场景下用哪个？
让我先尝试归纳，你再补充。
Prompt 4：工程映射（任意时间）
假设你在一家 SaaS 公司，产品经理想测试新的注册流程是否能提高付费转化率。
- 当前付费转化率：3%，预期提升到 3.5%，日注册量：1000 人
请引导我思考：
1. 这个测试需要跑多久？（先算样本量，再除以日注册量）
2. 如果产品经理等不及，想在 3 天内得出结论，会有什么风险？
3. 统计功效（power）不够的情况下，会发生什么类型的错误？
让我先动手算，你再验证。
Step 5：关 AI 自测
关闭所有资料和 NotebookLM，纯靠记忆和理解回答以下问题。
自测题 1：p 值到底是什么？
p = 0.03 的准确含义是什么？以下两种说法对吗？为什么？
- A："说明备择假设有 97% 的概率为真"
- B："说明如果再做一次实验，有 97% 的概率得到同样的结果"
自测题 2：样本量够不够？
你们团队开发了新的 SLAM 导航算法，想验证是否提升了清扫覆盖率。旧算法平均覆盖率 92%，预期新算法提升到 94%。研发在 50 台测试机器上跑了，新算法覆盖率均值 93.5%，p = 0.12，不显著。
- 这个测试设计有什么问题？
- 样本量够吗？按规范来算大概需要多少台设备？
- 产品经理等不及了，要不要直接上线？
自测题 3：辛普森悖论 + p = 0.06
总体看，新路径避障成功率（94.2%）略低于旧路径（95.1%），p = 0.06，不显著。但按户型拆分后，小户型新路径 96% vs 旧路径 93%，大户型新路径 92% vs 旧路径 88%——新路径在每个子群体里都赢了。
- 怎么解释这个现象？
- p = 0.06 该不该上线？
自测题 4：上线决策
A/B 测试结果：新固件"断连重连成功率"从 89.3% 提升到 91.7%，p = 0.07，差一点点不显著。效应量中等（Cohen's h = 0.45）。但新固件修复了一个已知的安全隐患，同时测试期间有 3 台设备出现异常重启（不确定是否和新固件有关）。
- 你怎么建议？上还是不上？
- 统计结果只是其中一个因素，还有哪些因素要考虑？
评分标准
- 每题 25 分，总分 100 分
- ≥ 80 分：通过
- 60-79 分：需要补缺（回到 Step 2 和 Step 4）
- < 60 分：回到 Step 2 和 Step 4 重学
Step 6：费曼输出 + 信心校准
费曼检验
一句话版本（电梯演讲）：
用 1 句话说清楚"假设检验是干什么的"。不能出现"p 值""零假设"这些术语。
三分钟版本（给非技术人员讲）：
找一个不懂统计的朋友，用 3 分钟给他讲明白：p = 0.03 到底意味着什么。如果他问"所以这个发现是真的还是碰巧的？"，你怎么回答？
场景判断（专业版费曼检验）
| 场景 | 你的判断 | 为什么 | |------|---------|--------| | 场景 1：p = 0.03 意味着什么？ | | | | 场景 2：50 台设备 p = 0.12，要不要加大样本量？ | | | | 场景 3：辛普森悖论 + p = 0.06 怎么决策？ | | | | 场景 4：p = 0.07 + 安全隐患 + 异常重启，上不上线？ | | |
信心校准
信心自评：___/10 分
我最可能在什么地方翻车？（预测 2 周后的薄弱点）
写下 1-2 个你觉得最可能忘或考试/实践中答不上来的点。
📚 精准阅读
| 资源 | 精确位置 | 解决什么问题 | |------|---------|-------------| | StatQuest: p-values | YouTube 搜索 "StatQuest p-values" | p 值的直觉理解 | | StatQuest: A/B Testing | YouTube 搜索 "StatQuest A/B Testing" | A/B 测试完整流程 | | 《统计数字会撒谎》 | 全书 | 统计数字被误用的经典案例 | | Seeing Theory | seeing-theory.brown.edu | 在线可视化：置信区间、假设检验 | | Khan Academy: Hypothesis Testing | 搜索 "Hypothesis Testing" | 假设检验系统课程 |
⚠️ 常见误区
- 误区：p < 0.05 就"证明"了备择假设 — p 值只说"零假设为真时数据有多奇怪"，不说"备择假设多可能为真"
- 误区：忽略统计功效 — 功效不够的实验，即使效应存在也检测不到
- 误区：不做多重检验校正 — 检验 20 个指标，至少一个假阳性的概率是 64%
- 误区：混淆统计显著和实际显著 — 大样本下 0.001% 的提升也会"显著"，但对业务无意义
🔗 工程映射
| 数据分析概念 | 真实工程场景 | 为什么会发生 | |-------------|-------------|-------------| | A/B 测试 | 互联网产品迭代 | 按钮/文案/算法的每次改动都需要数据支撑 | | 多重检验校正 | 基因组学 | 同时检验 20000 个基因，不校正假阳性海啸 | | 置信区间 | 选举民调 | "支持率 52%，误差 ±3%"就是 95% 置信区间 | | 统计功效 | 临床试验 | 样本量不足 → 有效药物无法上市 |
✅ 通关标准
- [ ] Step 4 的 5 个子任务全部完成
- [ ] Step 5 关 AI 自测 ≥ 80 分
- [ ] Step 6 费曼检验通过（两个版本都能讲清楚）
- [ ] Step 6 信心校准完成
- [ ] 填写 通关总结模板
📚 论文阅读清单
泛读（30-40 篇）：读摘要 + 图表 + 结论，3-5 分钟/篇 精读（8-10 篇）：逐段读，复现核心方法 研读（2-3 篇）：跟着做实验/改参数
必读精读
| # | 论文 | 核心方法 | 一句话总结 | 状态 | |---|------|---------|-----------|------| | 1 | Trustworthy Online Controlled Experiments — Kohavi 2020 | 工业界 A/B 测试全流程 | A/B 测试的工程圣经 | ⬜ | | 2 | Controlling the False Discovery Rate — Benjamini & Hochberg 1995 | FDR 校正方法 | 比 Bonferroni 更实用，控制假阳性比例 | ⬜ | | 3 | Redefine Statistical Significance — Benjamin et al. 2018 | 提议 p 值阈值降到 0.005 | 引发大讨论，让你思考阈值怎么设 | ⬜ | | 4 | Bayesian A/B Testing at Airbnb — Deng 2016 | 贝叶斯方法做 A/B 测试 | 边跑边更新信念，不等测试结束 | ⬜ | | 5 | Improving the Sensitivity of Online Controlled Experiments (CUPED) — Deng 2013 | 用预实验数据减小方差 | 相当于省一半样本量 | ⬜ |
泛读方向
搜索关键词：multi-armed bandit A/B testing、sequential probability ratio test、causal inference potential outcomes framework、switchback experiment design、heterogeneous treatment effect、experiment guardrails metrics
💡 精读表只列 5 篇核心论文，已覆盖本关主要知识点（A/B测试、FDR、p值阈值、贝叶斯方法、CUPED）。如果找到更多有价值的论文，自行添加到表中。
研读候选
从精读的 5 篇中选出最有价值的 2-3 篇，作为通关论文写作的主要参考。
| # | 论文 | 为什么选 | 状态 | |---|------|---------|------|