bts防弹少年团演唱会

bts防弹少年团演唱会

如何可视化A / B测试结果

《如何可视化A / B测试结果》

您可能想知道,“为什么我要自己对A / B测试结果进行可视化?”

因为市场上的A” b>工具已经为您提供了所有必要的表格和图表,对吧? 他们告诉你A / B测试何时重要以及预期的提升是什么。 那为什么要这么麻烦?

%E9%97%AE%E9%A2%98%E6%98%AF%EF%BC%8C%E5%BD%93%E6%82%A8″> %E4%BD%86%E6%98%AF%EF%BC%8C%E5%A6%82%E6%9E%9C%E6%82%A8%E6%98%AF%E7%BB%8F%E7%90%86%E5%9C%A8%E7%94%B5%E5%AD%90%E9%82%AE%E4%BB%B6%E6%88%96%E6%BC%94%E7%A4%BA%E6%96%87%E7%A8%BF%E4%B8%AD%E4%BD%9C%E4%B8%BA%E5%B1%8F%E5%B9%95%E6%88%AA%E5%9B%BE%E7%A2%B0%E5%88%B0%E5%AE%83%E4%BB%AC%EF%BC%8C%E9%82%A3%E4%B9%88%E5%AE%83%E4%BB%AC%E5%B0%B1%E4%B8%8D%E9%82%A3%E4%B9%88%E6%B8%85%E6%A5%9A%E4%BA%86%E3%80%82“>

%E6%AD%A4%E5%A4%96%EF%BC%8C%E6%82%A8%E5%BA%94%E8%AF%A5%E5%A7%8B%E7%BB%88” b>

找到一种清晰的方法来可视化A / B测试结果

问题是,每个人都得到的A / B测试可视化很棘手。 但是,我们已经完成了整个过程,并提出了一种明确的方法来进行A / B测试可视化。

如果你遵循,希望它会产生一个图表,正确地说服每个人你的伟大工作。 您将能够更轻松地说服人们您需要更多资源进行A / B测试。 一个好的图表不仅看起来不错,而且它可以帮助您传达信息并提高A / B测试结果的可信度。

第一次尝试:为什么重新发明轮子?

在我们开始分析A / B测试结果的前几个月(在电子表格中),我们根本没有使用图表。 我们刚刚提供了一个主要结果的表格。 作为优秀的统计学家,我们包括标准误差,z值,p值和功率。 所以至少我们肯定知道没有人会理解它。

哦,我们确实使用了颜色编码; 绿色意味着我们有一个成功的结果!

《如何可视化A / B测试结果》

接下来,我们添加了一个图表,将这些无聊和困难的数字变为现实。

我们首先复制了每个其他A / B测试工具报告的内容:一张随时间累积的每日转换率的图表。 我们添加了两行:表示默认变体的90%下限和上限(由默认变体的转换率加上/减去临界z值乘以标准误差计算)。

我们遇到的主要问题是一个简单的事实,即随着时间的推移转换并不能真正给我们提供洞察力。

该图表告诉您是否有显着且稳定的效果,但这只对网络分析师有意义。 当然,其他人只对主要结论感兴趣:这个A / B测试是否有重要的赢家,我们实施时可以对我们的KPI产生重大积极影响吗? 该图表没有给出该问题的明确答案:

《如何可视化A / B测试结果》

第二次尝试:切入追逐

我们希望随着时间的推移摆脱转换率的图表,只显示主要结论。 这意味着可以清楚地显示图表的最后数据点:变化A和变化B的转换率。

此外,需要变异A和变异B的90%下限和上限( %E7%BD%AE%E4%BF%A1%E5%8C%BA%E9%97%B4“>

基本上,我们希望复制统计学家用来可视化测试的内容:两个钟形曲线,一个临界值和一个阴影区域(如ABtestGuide或CXL%E7%9A%84AB%E6%B5%8B%E8%AF%95%E8%AE%A1%E7%AE%97%E5%99%A8%E7%9A%84中所使用%E7%9A%84“>

《如何可视化A / B测试结果》

这就是我们想出来解决这个问题的方法:

《如何可视化A / B测试结果》

您看到的是两个明确的点,代表变异A和B的转换率。

虚线是它们的置信区间。 如果变异B的转换率位于A的置信区间的范围之外,则变化B明显更好。 绿色阴影区域突出了这一点。 红色区域中的点将意味着变化表现得更糟。

一个问题:图表没有完全自动化。

通过更改每个变体的用户和交易(从而自动更改转换率,标准误差,z值,p值和功率)可以轻松刷新图表,但阴影绿色和红色区域必须通过手。

如果你运行的测试很少,那就没什么大不了的,但是如果你的工作每周分析超过10次A / B测试,这真的很烦人。 另一个小问题是图表看起来仍然太讨厌。 它看起来像你必须为你的数学作业绘制的东西☺。

第三次尝试:“你做错了!”

星期五下午,我们坐下来与数据科学家坐下来编写了ABtestguide%E8%AE%A1%E7%AE%97%E5%99%A8%E7%9A%84R%E8%AE%A1%E7%AE%97%EF%BC%8C”>

然而,谈话很快转向手头的可视化。 根据他 – 可能是整个科学界 – 我们的可视化在科学上是不正确的☹。

修复我们的不准确性

基本上,我们在一维图中显示了两条钟形曲线,并用它来验证A / B测试是否重要。 然而,正确的方法是显示变化B和变化A(ABtestguide计算器的下图)之间差异分布的图表。

可以通过计算差的标准误差(取变化A和变化B的平方标准误差之和的根)来计算该分布,并将其用于计算一个总置信区间。

很好,现在计算是正确的,但因此它对我们的可视化产生了巨大的影响。 我们不再能为每个变体提供单行,但我们必须将两者合并以表示变体A和B之间差异的分布,因此我们做了:

《如何可视化A / B测试结果》

以下是此图表可以告诉您的内容:如果变异B的转换率位于置信区间内,则此变化不会明显更好; 如果它位于置信区间之外,则为,并且点变为绿色(正)或红色(负)。

现在我们的图表和表格是自动化的

我们之前的可视化问题是缺乏自动化。 这个图和表解决了这个问题。 我们只需通过分析API(每个变体的用户和交易)导入数据并发出…结果和图表已经准备就绪!

这似乎是一个梦想成真,但当我们开始使用这个可视化与我们的几个客户时,我们很快就注意到我们仍然需要解释(甚至比以前更多)他们在这个图表中看到的内容……

我们的图表仍然没有完全传达团队的结果

特别是,随着A / B测试的多种变化,图形变得混乱。 具有默认和3种变化的测试将显示3行灰色菱形和灰色虚线(置信区间),它们都只是略微 – 几乎没有明显 – 不同,因为所有标准误差的差异和默认值通常大致相同。

人们很困惑为什么只有3行而不是4行:默认变体发生了什么? 每一行看起来基本相同,所以感觉赢家的影响不是那么大。

嗯……我们刚从完美的梦中醒来。 回到绘图板。

第四次尝试:退回历史,但现在自动化!

所以,我们回到第二次尝试的可视化 – 每个变化一行。 我们知道这可能不是显示结果的完美的科学正确方法,但这是可以理解的,这是我们的主要目标。 我们确实保留了新的设计并使用点而不是令人讨厌的钻石使其变得尖锐。 通过查看Excel中图形的所有可能功能,我们想出了一种自动化这种可视化的方法……是的!

《如何可视化A / B测试结果》

在我们继续使用这个可视化与我们的在线对话客户端(并再次将它们与不同的A / B测试可视化混淆)之前,我们咨询了我们自己的同事。

我们发现该图表对我们的A / B测试团队的所有参与者都非常清楚,但是没有直接参与测试的利益相关者,经理和其他重要人员仍然可以有很多问题和/或评论:

  • “为什么此图表中的转换率为百分之三十? 我认为我们的数字频道转换率为3%?“当然,图表是基于该页面的实际转化率。 您知道每个页面都有所不同,并且您的销售渠道的转化率可以达到百分之三十,但他们却没有。
  • “我只是想知道隆起有多大。”图表告诉你,有一些绿色正在发生,所以一些东西应该是好的,但具体的影响是什么? 他们找不到13.23%的提升。 他们必须阅读表格以获取所有必要的信息。
  • 如果他们确实注意到13.23%的提升,你可能会得到: “哇,销量增加13%! 你是我的英雄 – 让我们现在就把它放好!“ 他们应该,但你必须解释这是在网站页面上进行的A / B测试,每周只能获得367次转换,而不是整个网站上的8,000次转换。 所以,是的,它通过网站的这一部分提升了13.23%,但它可能只对总转化率产生1%左右的影响。

第五次尝试:我们正在接近宝宝

这些问题和评论在我们的下一个(也是迄今为止最终的)可视化中得到了解决。 除了可视化更新使这个可视化客户端和在线对话公关友好,我们做了两个主要的变化:

  1. 我们决定更改x轴,以便它不再报告通过该页面的转换率,而是报告它的相对差异。 所以默认设置为0%差异,而变化可能带来一定的增加(或减少)
  2. 我们将默认转换次数放在默认图表行的前面。 对于每个变体,我们在图表前面添加了转换率的相对变化。 我们还自动对差异进行颜色编码:当转换率的差异明显更好时,数字变为绿色,当差异显着更差时,数字变为红色。
《如何可视化A / B测试结果》
%E4%B8%8B%E8%BD%BDExcel%E6%A8%A1%E6%9D%BF%E3%80%82“>

通过这种可视化,您将能够立即看到隆起和预期的影响。 我们还增加了测试周数和每个变体的平均人口数 – 因此数据分析师仍然可以对结果充满信心。 分析师还可以很容易地解释,在90%的确定性下,实施后转化率的增长将介于7.5%和19%之间。

我们现在认为这个可视化提供了足够的信息来说服经理和分析师 – 所以我们摆脱了表格(当团队中的分析师当然打开Excel时仍然存在 – 但它已从PowerPoint中移除,结果电子邮件和/或PDF)。

%E5%9C%A8%E7%BA%BF%E5%AF%B9%E8%AF%9D%E5%AE%A2%E6%88%B7%E5%AF%B9%E8%BF%99%E7%A7%8D%E6%96%B0%E7%9A%84%E5%8F%AF%E8%A7%86%E5%8C%96%E9%9D%9E%E5%B8%B8%E6%BB%A1%E6%84%8F%EF%BC%8C%E5%9C%A8

结论:你有什么想法?

虽然A / B测试工具提供图形和图表,但是创建整个团队理解的A / B测试可视化非常重要。 我们已经达到了清楚地传达我们的结果的程度,但我们希望能够做得更好。

我们知道我们想做的事情是,一旦您在网站上实施获胜变体,就会更加关注真正可能产生的影响。 它会添加多少转化或收入? 我们已经知道并非每个页面都覆盖所有访问者,因此并非所有转化。

此外,有时测试不会在该页面上的100%人口上进行。 因此,这使得报告的违约交易数量对管理者来说不那么重要 – 甚至可能令人困惑。 他们只是想知道实施这一新变体后每个月额外转换的次数以及这对于提高总收入意味着什么。 我们可视化中可能需要它。

所以,据你说,还有什么遗漏? 你会改变什么?

感谢您阅读我们的任务并加入以下添加您的反馈,谢谢! %E6%82%A8%E5%8F%AF%E4%BB%A5%E7%82%B9%E5%87%BB%E6%AD%A4%E5%A4%84%E4%B8%8B%E8%BD%BD%E6%88%91%E4%BB%AC%E7%9A%84Excel%E6%A8%A1%E6%9D%BF%E3%80%82“>

特征图像源

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注