AB测试
知识点
- 实验设计过程:
- power analysis
主要绘制power和sample size的曲线从而得到所需power,如80%所需要的sample size。
- 样本量(sample size)
- 效应量(effect size)
- 显著性水平(significance level)
- 效力(power)
以上因素只要知道3个即可推出剩下的一个。
- 举个例子比如计算转化率的显著性:
- 确定用户数量,计算转化率及对比情况
- 设计原假设和备择假设,分析数据结果(原假设一般为想要拒绝的假设)
H 0 : P n e w − P o l d ≤ 0 H_{0} : P_{new}-P_{old} \leq 0 H0:Pnew−Pold≤0
H 1 : P n e w − P o l d > 0 H_{1} : P_{new}-P_{old}>0 H1:Pnew−Pold>0 - 计算统计量Z:
z = P n e w − P o l d P n e w ( 1 − P n e w ) n n e w + P o l d ( 1 − P o l d ) n o l d z = \frac{P_{new}-P_{old}}{\sqrt{\frac{P_{new}(1-P_{new})}{n_{new}}+\frac{P_{old}(1-P_{old})}{n_{old}}}} z=nnewPnew(1−Pnew)+noldPold(1−Pold)Pnew−Pold - 查表可得p值从而得出结论
- 相关概念:
- 显著性水平(significance level):是估计总体参数落在某一区间内,可能犯错误的概率。 α \alpha α,也是第一类错误
- 置信度/置信水平(statistical significance): 1 − α 1-\alpha 1−α
- p值:计算原假设时犯错误的概率。p小于 α \alpha α则拒绝原假设
- 置信区间: [ μ − z ∗ σ , μ + z ∗ σ ] [\mu-z*\sigma,\mu+z*\sigma] [μ−z∗σ,μ+z∗σ]
- 样本量(sample size):研究使用的样本量
- 效果大小(effect size):计算实验中观察到的效果大小的标准化方法
- 功效(power): 1 − β 1-\beta 1−β, β \beta β为第二类错误。当你确定结果存在显著性差异时正确的概率。
- 检验选择
- Proportions:Z检验(click rate, conversion rate, response rate)
- Mean: t检验(rev,cost,operation times)
- AA实验:在AB测试前为了验证人群相似性,可以将人群分为5个组,随机选取两组验证指标是否相近。
- 一些参考。
- https://zhuanlan.zhihu.com/p/47480430
- https://mp.weixin.qq.com/s/IdlqK3oPtF8tBdo_0xzBHA
- https://zhuanlan.zhihu.com/p/134085246
- https://www.evanmiller.org/ab-testing/chi-squared.html
- https://cloud.tencent.com/developer/article/2012979
- https://zhuanlan.zhihu.com/p/325773972
- PowerAnalysis全计算公式研究。
原文地址:https://www.jb51.cc/wenti/3284373.html
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。