bts防弹少年团演唱会

bts防弹少年团演唱会

如何利用贝叶斯A / B测试评估赚更多钱

《如何利用贝叶斯A / B测试评估赚更多钱》

分析A” b>的传统(和最常用)方法是使用所谓的t%E6%A3%80%E9%AA%8C“>

虽然这种方法在科学上是有效的,但它有一个主要的缺点:如果你只实现重大的结果,你将在桌面上留下很多钱。

在这篇博客文章中,我将论证为什么事后贝叶斯测试评估是一种比频繁的评估方法更好的评估方法,以促进您的业务发展。 如果听起来很复杂,请不要担心 – 在帖子结束时,您可以轻松地进行自己的贝叶斯分析。

成功的A / B测试计划面临的挑战

可悲的事实是,我们看到许多测试程序死于安静的死亡。

保持这些计划的存在是一项真正的挑战。 如果组织中的每个人都不相信实验,那么您将很难证明其价值。

《如何利用贝叶斯A / B测试评估赚更多钱》
当然,你可以从失败的测试中学到东西,但是太多的东西可以杀死一个新兴的测试程序。

这种对实验的信念在很大程度上取决于获胜测试的数量。 如果您的胜率非常低(比如,低于20%,这%E4%B8%8E%E8%A1%8C%E4%B8%9A%E5%B9%B3%E5%9D%87%E6%B0%B4%E5%B9%B3%E7%9B%B8%E5%B7%AE

团队成员花了很多时间和精力来寻找洞察力,开发测试变体并分析它们。 如果这些努力没有得到回报,那么他们的能量和动力就会下降(更不用说任何利益相关者的能量在没有投资回报率的情况下会迅速消失)。

另一个更重要的后果是,您将在组织中具有较低的可见性。

《如何利用贝叶斯A / B测试评估赚更多钱》
丢失测试太多会导致测试团队失去组织可见性。

如果你只在一个蓝色的月亮中提供一次获胜的变异,你将不会被认为对业务非常重要。 因此,您的计划将被优先处理甚至停止。

我们需要更多的赢家!

解决这个问题的方法是让更多的赢家退出A / B测试。

《如何利用贝叶斯A / B测试评估赚更多钱》

但这说起来容易做起来难!

您可以通过改进%E8%BD%AC%E6%8D%A2%E7%A0%94%E7%A9%B6%E6%88%96

好吧,这可能听起来有点粗略。 但频率统计数据存在一些挑战,我们一直在评估我们的A / B测试。

说什么? 我不明白!

使用频率统计的最重要问题是难以正确解释测试结果。 t检验(用于频率统计)检查两个独立组的平均值是否彼此显着不同。 该测试的基本假设是A组和B组之间的转换率没有差​​异。这就是所谓的零假设。

《如何利用贝叶斯A / B测试评估赚更多钱》
图片由%E9%A9%AC%E7%89%B9Gershoff%E4%BB%8E

通过频繁的测试评估,您会尝试拒绝此假设,因为您要证明您的测试变体(B)优于原始(A)。 在测试之前设定显着性水平(通常为90%或95%),判断测试的p值(1 – 显着性水平)是否低于阈值p值。 如果在零假设下结果非常不可能 – 例如p值为0.02 – 则可以安全地说明A的转换率与B的转换率不同。

无辜直到证明有罪

您可以使用频率统计数据与美国试验的过程进行比较。

《如何利用贝叶斯A / B测试评估赚更多钱》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

审判中的零假设表明被告是无辜的。 这是审判的起点:被告是无罪的,除非他们在没有合理怀疑的情况下被证明有罪。 另一种假设因此表明被告是有罪的。 检察官有责任通过提出有罪证据证明被告完全不是无辜的。

《如何利用贝叶斯A / B测试评估赚更多钱》

然后,判断这个证据。 陪审团问自己这样一个问题:“如果被告实际上是无辜的,数据是否可能发生变化? 换句话说,零假设仍然可以成立吗?

如果数据可能是在零假设为真的假设下发生的,那么我们就不会拒绝零假设,并说明证据不足以表明被告是有罪的。

如果数据很可能已经发生,则证据不仅对零假设提出了合理的怀疑,因此我们拒绝零假设。

总之,t检验只能告诉您结果基于A和B执行完全相同的假设是多么令人惊讶 。 我不了解你,但这让我感到困惑! 显然,我不是唯一一个: %E6%9C%80%E8%BF%91%E7%9A%84%E4%B8%80%E9%A1%B9%E7%A0%94%E7%A9%B6%E8%A1%A8%E6%98%8E%EF%BC%8C%E8%B6%85%E8%BF%8780%EF%BC%85%E7%9A%84%E4%BA%BA%E5%AE%8C%E5%85%A8%E8%AF%AF%E8%A7%A3%E4%BA%86%E9%A2%91%E7%8E%87%E7%BB%9F%E8%AE%A1%E6%95%B0%E6%8D%AE%E3%80%82″>

除了困惑之外,我实际上并不感兴趣“我发现这些结果的可能性有多大。”

我只想知道变异B是否优于A.使用频率统计来评估A / B测试根本不能反映潜在的业务问题。

获胜者还是没有获胜者? 这就是问题所在

使用频率统计数据的另一个挑战是你面临一个二元结果:你要么有赢家,要么你没有。 换句话说,您可以拒绝原假设或拒绝拒绝。 而且没有讨论的余地。

如果您看一下下面的测试结果,您会得出结论,没有赢家,也不能实施。 p值不足以拒绝零变量具有相同转换率的零假设。 我们看到许多客户发生的事情是,这实际上会被解释为失败的变化! 他们会将整个测试想法抛到窗外并测试完全不同的东西。

《如何利用贝叶斯A / B测试评估赚更多钱》
%E5%9C%A8%E6%AD%A4%E5%A4%84%E4%B8%8B%E8%BD%BDExcel%E5%8F%AF%E8%A7%86%E5%8C%96“>

然而,似乎有一个积极的运动(测量的提升是5%),但它不足以被认为是一个重要的赢家。 您可能只需要更多转换(或更高的样本量)。

测试的想法实际上非常好,但只需要一些调整。

通过频繁的测试,我们的目标就是找到真正的赢家:你需要证明另类假设而不会有任何疑问(确切的是5或10%的微小碎片)。 您希望尽可能减少风险。 如果你考虑到t检验%E5%B7%B2%E8%A2%AB%E7%94%A8%E4%BA%8E%E8%AE%B8%E5%A4%9A%E5%8C%BB%E5%AD%A6%E7%A0%94%E7%A9%B6%EF%BC%8C%E8%BF%99%E5%B9%B6%E4%B8%8D%E4%BB%A4%E4%BA%BA%E6%83%8A%E8%AE%B6%E3%80%82″>

您需要冒一些风险才能带来更多收入。

什么是替代品?

在过去几年中,贝叶斯评估A / B测试的方法越来越受欢迎。 大多数着名的A / B测试软件程序现在使用(至少某种形式)贝叶斯统计来评估测试结果: Google” optimize>贝叶斯统计, VWO%E6%9C%80%E8%BF%91%E5%88%87%E6%8D%A2%E5%88%B0%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%86%B3%E7%AD%96%EF%BC%8C”>

这并非没有理由:贝叶斯统计更有意义,因为它更适合基础业务问题。

贝叶斯统计不使用零假设,而是直接解决业务问题: B优于A的几率是多少?

通过使用贝叶斯方法,可以避免对p值的反直觉定义。 假设零假设为真(数据|假设),则可以确定后验概率,而不是定义观察到的或更极端结果的概率;给定观察数据(假设|数据),可以确定假设为真的概率。 。 这正是我们在A / B测试中所寻求的:考虑到测试中观察到的数据,B优于A的可能性是多少?

《如何利用贝叶斯A / B测试评估赚更多钱》

贝叶斯测试评估

当您使用贝叶斯统计量来评估您的A / B测试时,则不再涉及困难的统计术语。 没有零假设,没有p值或z值,等等。 它只是向您显示测量的提升和B优于A的概率。

很简单吧? 每个人都能理解这一点。

《如何利用贝叶斯A / B测试评估赚更多钱》

《如何利用贝叶斯A / B测试评估赚更多钱》

根据我之前向你展示的相同数量的A / B测试,你有89.1%的可能性,B实际上会比A更好。可能每个经理都会理解这一点并且会喜欢这些赔率。

当使用贝叶斯A / B测试评估方法时,您不再具有二元结果,而是在0到100%之间的百分比,无论变化是否比原始变量更好。 在这个例子中89.1%。 因此,我们不能说“我们不能拒绝A的转换率等于B的转换率为0.102的零假设”,我们可以说“A的转换率有89.1%的可能性比B.好。“

你喜欢哪个?

让我们下注!

问题仍然存在:你应该实施这种变化吗? 现在通过贝叶斯分析,您可以进行风险评估。 您可以在实施变体时计算结果在收入方面的含义。

收入的平均提升(示例中的所有绿色条形图)可以乘以平均订单价值并延长到6个月时间(这只是一个大概,因为我们实际上不知道实施将带来多长时间的收入)。 对于转换率的平均下降也是如此(所有红色条加起来)。

在这个例子中,这意味着该客户在实施变更时有10.9%的赔率(约20万),但也有89.1%的可能性会增加收入(约66万)。 可能每个经理都喜欢这些赔率并实施变化。

《如何利用贝叶斯A / B测试评估赚更多钱》

总之,通过贝叶斯测试评估,可以绘制出实施非重要测试变量的风险。 每次测试都会产生风险评估,其中预期的额外收入将根据变化实际表现不佳的风险进行评估。 正面影响是将实施更多变化,从而带来更高的收入增长。

我应该承担多大的风险?

根据您所处的业务类型,您可能或多或少愿意承担风险。 如果您是初创企业,您可能希望承担比完全成长企业更多的风险。 众所周知,我们人类是厌恶风险的,不喜欢赔钱的可能性,所以我们对大多数客户的看法是他们更喜欢至少75%的概率。

该概率不是固定数,但可以根据测试类型而变化。 如果您只更改标题然后风险要低得多,那么当您需要在结帐页面上实现新功能时。 这将消耗更多的资源。 因此,您需要更高的概率才能决定实施变体。

DIY!

最近我们将这个贝叶斯Excel计算器变成了一个Web工具。 任何人都可以免费使用。 %E5%9C%A8%E8%BF%99%E9%87%8C%E6%9F%A5%E7%9C%8B“>

《如何利用贝叶斯A / B测试评估赚更多钱》

结论

总而言之,使用贝叶斯统计数据来评估您的A / B测试结果与使用频率统计数据相比具有很多优势:

  • 它更容易理解:不再涉及困难的统计术语。
  • %E5%AE%83%E6%9B%B4%E9%80%82%E5%90%88%E4%B8%9A%E5%8A%A1“>
  • 你不会抛弃那些具有指示意义的好的测试思路。
  • 您将获得更高的实施率和收入增长,因为您不会坚持实施明确的赢家,而是实施有很大机会赚取更多收益的变体。
  • 您将在测试团队中获得更多精力,并在组织中获得更高的可见性,从而实现成功的A / B测试计划!

%E7%89%B9%E5%BE%81%E5%9B%BE%E5%83%8F%E6%BA%90“>

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注