Google Optimize贝叶斯模型中的 SRM 是一回事吗

如何解决Google Optimize贝叶斯模型中的 SRM 是一回事吗

因此检查样本比率不匹配对数据质量有好处。 但在 Google Optimize 中，我无法影响样本大小或对其采取任何措施。

我的问题是，在 15 个 A/B 测试中，我只有 2 个没有 SRM 的实验。 （用过这个工具https://www.lukasvermeer.nl/srm/microsite/） 另一方面，贝叶斯模型处理诸如不同样本量之类的事情，我不需要担心，但对这个主题的看法不同。

SRM 真的是 Google 优化工具中的问题还是我可以忽略它？

解决方法

SRM 对贝叶斯实验的影响与对频率论者的影响一样大。 SRM 发生在您期望某个流量拆分但最终得到不同的流量时。 Google 优化工具是一个黑匣子，因此无法判断您遇到的样本大小不均是否是有意为之。

很多事情都可能导致 SRM，例如，如果您的变体的 javascript 代码在某些浏览器中存在错误，则可能无法正确跟踪这些用户。另一个常见原因是，如果您的变体导致页面加载时间增加，则会有更多人放弃该页面，并且您会看到比预期更小的样本量。

缺乏统计严谨性和透明度是我构建 Growth Book 的原因之一，它是一个开源 A/B 测试平台，带有贝叶斯统计引擎和针对每个实验的自动 SRM 检查。