bts防弹少年团演唱会

bts防弹少年团演唱会

关于A / B测试的三个难题

《关于A / B测试的三个难题》

有时,A / B测试看起来像是一个可以立即解决所有问题的神奇工具。 转换率低? 正确运行测试并将您的转化次数提高12433%! 这很简单!

%E8%AE%BE%E7%BD%AE%E5%92%8C%E8%BF%90%E8%A1%8C%E6%8B%86%E5%88%86%E6%B5%8B%E8%AF%95%E7%A1%AE%E5%AE%9E%E5%BE%88%E5%AE%B9%E6%98%93%EF%BC%88%E5%A6%82%E6%9E%9C%E6%82%A8%E4%BD%BF%E7%94%A8%E6%AD%A3%E7%A1%AE%E7%9A%84%E5%B7%A5%E5%85%B7%EF%BC%89%EF%BC%8C%E4%BD%86%E6%AD%A3%E7%A1%AE%E6%89%A7%E8%A1%8C%E9%9C%80%E8%A6%81%E6%80%9D%E8%80%83%E5%92%8C%E5%85%B3%E5%BF%83%E3%80%82″>

1.大多数A / B测试不会产生巨大的收益(这没关系)

我已经阅读了与您相同的A / B测试案例研究。 可能更多。 一个接一个的巨大收益 – 或者看起来如此。 事实是绝大多数测试从未发表过。 像大多数试图在好莱坞制作它的人都是你永远听不到的人,你不知道大多数的A / B测试。

大多数分裂测试“失败”,因为它们不会导致转换升级(新变化不会产生任何变化或执行较差)。 Appsumo创始人Noah Kagan对他们的经历说了这个

8个A / B测试中只有1个推动了重大变化。

这是一个很好的期望。 如果你期望每个测试都是一个本垒打,你就会为自己做一些不愉快的时光。

将其视为持续改进的过程

转换优化是一个过程。 改善转换就像在任何事情上变得更好 – 你必须一次又一次地做。 通常需要进行许多测试才能获得有关哪些有效,哪些无效的宝贵见解。 每个产品和受众都是不同的,即使是最好的研究也只会带我们到目前为止。 最终,我们需要在现实世界中测试我们的假设,并从测试结果中获得新的见解。

这是增量收益

一个现实的期望是,你将在这里获得10%的收益,并在那里获得7%的收益。 最后,所有这些改进都会加起来。

《关于A / B测试的三个难题》

图片来源

“失败”的实验是为了学习

我有很多案例,我提出了一个杀手假设,重新编写副本并使页面更加令人敬畏 – 只是看到它执行WORSE而不是控件。 也许你经历过同样的事情。

除非您错过了过程中的一些重要见解,否则通常可以将“失败”的实验变为胜利。

我没有失败10,000次。 我已成功找到10,000种不起作用的方法。

– 发明家托马斯·阿尔瓦·爱迪生

A / B测试的真正目标不是提升转换率(这是一个很好的副作用),而是了解目标受众。 您可以获取有关您的用户的这些见解,并在您的营销效果中使用它 – PPC广告,电子邮件主题行,销售副本等。

每当您针对控件测试变体时,您需要对可能有效的假设进行假设。 现在,当您观察到变化输赢时,您将能够确定哪些元素确实有所作为。

当测试失败时,您需要

  • 评估假设,
  • 查看热图/点击地图数据以评估网站上的用户行为,
  • 注意任何参与数据 – 即使用户没有采取你最想要的行动,他们做了什么其他事情(更高的点击次数,更多的时间在网站上等)。
这是一个案例研究 ,通过分析究竟什么不起作用,他们如何扭转失败的变化。

2.有很多等待(直到统计信心)

我的一个朋友分开测试他的新登陆页面。 他不断向我发送他的结果和调查结果。 我很高兴他进行了如此多的测试,但他开始经常有“结果”。 有一次我问他“你参加考试多久了?”他的答案是:“直到其中一个变化似乎在赢得”。

错误的答案。 如果你太快结束测试,那么你很可能会得到错误的结果。 在达到统计信心之前,你无法得出结论。

统计意义就是一切

统计置信度是测试结果准确的概率。 来自37Signals的诺亚说得很好:

在没有考虑统计信心的情况下进行A / B测试比完全没有运行测试更糟糕 – 它让你错误地相信你知道什么对你的网站有效,而事实是你不知道什么比你更好没有参加考试。

大多数研究人员在做出任何结论之前使用95%的置信度。 在95%置信水平下,结果随机的可能性非常小。 基本上我们说“这种改变不是侥幸或偶然造成的,它可能是由于我们做出的改变而发生的”。

如果结果没有统计学意义,结果可能是由随机因素引起的,并且您所做的更改与测试结果之间没有关系(这称为零假设 )。

对大多数人来说,计算统计置信度过于复杂,因此我建议您使用此工具

注意小样本量

我开始为客户测试。 2天后,结果如下:

《关于A / B测试的三个难题》

我建造的变化正在减少 – 超过89%。 一些工具已经称之为并且说统计显着性为100%。 我使用的软件说Variation 1有0%的机会击败Control。 我的客户准备叫它退出。

但是,由于这里的样本量太小(每次变化只有100多次访问),我坚持了,这就是10天后的样子:

《关于A / B测试的三个难题》

这是正确的 – 有0%的机会击败控制权的变化现在以95%的信心获胜。

不要基于非常小的样本量来得出结论。 一个好的球场是在查看统计置信度之前,每个变化至少进行100次转换(尽管在某些情况下较小的采样器可能会很好)。 当然, 有一种适当的统计方法来确定所需的样本量,但除非你是一个数据极客,否则使用这个工具 (如果没有达到适当的样本量,它会说统计置信度N / A.)。

注意A / B测试工具“提前调用”,总是仔细检查数字。 最近,来自Copy Hackers的 Joanna发布了关于她过早宣布胜利者的工具的经历 。 始终注意误差范围和样本量。

耐心,我年轻的朋友

不要因所需的样本量而气馁 – 除非你的网站流量很高,否则它总是需要比你想要的更长的时间。 而不是测试一些东西,而不是测试任何东西。 没有主动测试的每一天都浪费了一天。

3. Trickery不提供严重的升降机,了解用户

我喜欢Naomi Niles的这条推文:

我完全同意。 这种叙述让人们对测试的内容有了错误的认识。 是的 – 有时颜色会影响结果 – 特别是当它影响视觉层次结构时,会使行动呼吁更加突出,等等。 但“绿色与橙色”并不是A / B测试的本质。 这是关于了解目标受众。 进行研究和分析可能很乏味,这绝对是一项艰苦的工作,但这是你需要做的事情。

《关于A / B测试的三个难题》

图像来源

为了使您的转换成为一个重要的提升,您需要进行转换研究 。 你需要做繁重的工作。

转换的严重收益不是来自心理上的诡计,而是来自分析客户真正需要的东西,与他们产生共鸣的语言以及他们想要如何购买。 这是关于总报价的相关性和感知价值。

结论

1.对测试有现实的期望。

耐心,年轻的蚱蜢。

A / B测试是关于学习的。 转换的真正提升来自于了解用户并提供相关且有价值的优惠。

[grwebform url =“https://app.getresponse.com/view_webform_v2.js?u=Td&webforms_id=6203803”css =“on”center =“off”center_margin =“200”/]

特色图片

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注