微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何在 A/B 测试中检查两组之间的显着差异

如何解决如何在 A/B 测试中检查两组之间的显着差异

在我作为数据分析师的工作中,我们有一堆电子邮件和电子商务相关的指标,我们目前在进行 A/B 测试时不使用任何显着性标准,例如置信区间或 p 值。我想改变这种情况,使统计更加严谨。

例如,如果我向每个组发送 10,000 封电子邮件,我们得到以下结果(分别调用 A 组和 B 组)

已交付 打开 点击次数 点击次数/投放次数 点击/打开 订单 收入 平均订单价值
10000 2500 150 0.015 0.06 20 $4000 $200
10000 3000 400 0.04 0.133 10 $3000 $300

有什么方法可以检查每列中的值之间的显着差异?我的第一个想法是在 R 中多次使用单样本 t 检验,但我不确定是否有更好的方法,或者这种方法是否正确。

理想情况下,我会拥有更多数据,例如发送电子邮件的每个人的指标。但我只是没有那个。虽然对于百分比列,我可以做一个比例测试来比较它们。

我认为我遇到的最大问题是没有差异,因为每个组的每一列都有一个值。我不知道是否有一种统计上严格的方法来比较两个原始数字,看看它们是否有显着差异而没有任何差异。

我发现 this paper 可以简化很多事情,但我从未在其他地方见过这种方法

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。