bts防弹少年团演唱会

bts防弹少年团演唱会

我们从分析28,304个实验中学到的5件事

《我们从分析28,304个实验中学到的5件事》

CRO专业人士如何在2019年进行实验? 我们分析了来自Convert.com%E5%AE%A2%E6%88%B7%E9%9A%8F%E6%9C%BA%E6%8C%91%E9%80%89%E7%9A%8428,304%E4%B8%AA%E5%AE%9E%E9%AA%8C%E3%80%82″>

这篇文章分享了我们的一些顶级观察和一些关于:

  • 当CRO选择停止测试时;
  • 哪种类型的实验最受欢迎;
  • 个性化经常是实验过程的一部分;
  • CRO为实验设定了多少目标;
  • 从失败的实验中“学习”的成本是多少。

让我们开始。

1.五分之一的CRO实验是重要的,代理商仍然可以获得更好的结果。

《我们从分析28,304个实验中学到的5件事》

只有20%的CRO实验达到95%的统计显着性标记。 尽管达到95%的统计显着性%E5%8F%AF%E8%83%BD%E6%B2%A1%E6%9C%89%E4%BB%80%E4%B9%88%E7%A5%9E%E5%A5%87%E4%B9%8B%E5%A4%84“>

您可以将此发现与Econsultancy%E7%9A%842018%E5%B9%B4%E4%BC%98%E5%8C%96%E6%8A%A5%E5%91%8A%E4%B8%AD%E7%9A%84%E7%BB%93%E6%9E%9C%E8%BF%9B%E8%A1%8C%E6%AF%94%E8%BE%83%EF%BC%8C%E5%85%B6%E4%B8%AD%E8%B6%85%E8%BF%87%E4%B8%89%E5%88%86%E4%B9%8B%E4%BA%8C%E7%9A%84%E5%8F%97%E8%AE%BF%E8%80%85%E8%A1%A8%E7%A4%BA%E4%BB%96%E4%BB%AC%E5%9C%A830%EF%BC%85%E7%9A%84%E5%AE%9E%E9%AA%8C%E4%B8%AD%E7%9C%8B%E5%88%B0%E4%BA%86%E2%80%9C%E6%98%8E%E6%98%BE%E4%B8%94%E5%85%B7%E6%9C%89%E7%BB%9F%E8%AE%A1%E6%84%8F%E4%B9%89%E7%9A%84%E8%B5%A2%E5%AE%B6%E2%80%9D%E3%80%82″>

没有达到统计显着性可能是由于两件事 – 假设没有成功,或者更令人不安的是,提前停止测试。 在CXL”>报告中,近一半(47.2%)的受访者承认缺乏A / B测试的标准停止点。

对于那些确实达到统计显着性的实验,只有7.5中的1个显示转化率提升超过10%。

内部团队的表现略差于平均水平:每7.63个实验中有1个(13.1%)实现了至少10%的统计上显着的转换率提升。 早在2014年,当我们%E5%8F%91%E5%B8%83%E6%97%A9%E6%9C%9F%E7%89%88%E6%9C%AC%E7%9A%84” cxl>

代理商做得稍好一些:15.84%的实验显着,升力至少为10%。 在我们早期的研究中,这个数字要高得多(33%),尽管样本量明显较小(仅700次测试)。 尽管如此,在这两项研究中,代理商的表现都优于内部CRO团队。 今年,他们的表现超过了内部团队的21%。

(在比较每月测试时,我们没有发现代理商和内部客户之间存在任何显着差异。)

A / B测试仍然是最受欢迎的实验。

A” b> (使用DOM操作和拆分URL)仍然是大多数优化器的首选测试A / B测试总共占我们平台上所有实验的97.5%。 每个A / B测试的平均变化数为2.45。

这种趋势并不新鲜。 A / B测试一直占主导地位。 CXL多年来的测试类型分析也表明了这一点。 早在2017年,CXL的报告发现90%的测试都是A / B测试。 在2018年,这一数字又增加了8%,加强了A / B测试作为近乎普遍的实验类型。

当然,A / B测试更容易运行; 它们还可以更快地提供结果,并以较小的流量工作。 以下是按测试类型的完整细分:

《我们从分析28,304个实验中学到的5件事》

北美优化者每月进行13.6次A / B实验,而来自西欧的实验平均只有7.7次。 使用2018%E5%B9%B4CXL%E6%8A%A5%E5%91%8A%E4%B8%AD%E7%9A%84%E5%9F%BA%E5%87%86%E6%B5%8B%E8%AF%95%EF%BC%8C%E4%BD%BF%E6%88%91%E4%BB%AC%E7%9A%84%E5%AE%A2%E6%88%B7%E5%9C%A8%E6%B5%8B%E8%AF%95%E9%87%8F%E6%96%B9%E9%9D%A2%E6%8E%92%E5%90%8D%E5%89%8D30%EF%BC%85%E3%80%82″>

还存在其他跨大西洋差异:西欧通过DOM操纵进行更多的A / B测试; 美国和加拿大的分裂URL体验的次数是其两倍。

3.优化者正在设定多个目标。

平均而言, 优化者为每个实验设置至少四个目标 (例如,单击某个链接,访问某个页面,表单提交等)。 这意味着除%E4%B8%BB%E8%A6%81%E8%BD%AC%E5%8C%96%E7%8E%87%E7%9B%AE%E6%A0%87%E5%A4%96%EF%BC%8C%E4%BB%96%E4%BB%AC%E8%BF%98%E8%AE%BE%E7%BD%AE%E4%BA%86%E4%B8%89%E4%B8%AA%E6%AC%A1%E8%A6%81

《我们从分析28,304个实验中学到的5件事》

额外的“诊断”或次要目标可以增加实验的学习,无论他们是赢还是失败。 虽然主要目标明确无误地宣称“胜利”,但次要指标可以说明实验如何影响目标受众的行为。 (最好地认为,成功的实验通常可追踪多达8%E4%B8%AA%E7%9B%AE%E6%A0%87%E6%9D%A5%E8%AE%B2%E8%BF%B0%E5%AE%8C%E6%95%B4%E7%9A%84%E5%AE%9E%E9%AA%8C%E6%95%85%E4%BA%8B%E3%80%82%EF%BC%89″>

我们认为这是积极的 – 客户正试图深入了解他们的变化如何影响他们网站的用户行为。

2018年版的Econsultancy优化报告也看到许多CRO专业人士设定了多个目标。 事实上,大约90%的内部受访者和85%的机构受访者将次要指标描述为“非常重要”或“重要”。虽然销售和收入是主要成功指标,但常见的次要指标包括%E8%B7%B3%E5%87%BA%E7%8E%87%E6%88%96%E2%80%9C%E8%81%94%E7%B3%BB%E6%88%91%E4%BB%AC%E2%80%9C%E8%A1%A8%E6%A0%BC%E5%AE%8C%E6%88%90%E7%8E%87%E3%80%82″>

Econsultancy研究还发现,表现优异的公司(在主要成功指标上获得6%或更高的改进的公司)更有可能衡量次要指标。

4.个性化用于不到1%的实验。

%E5%B0%BD%E7%AE%A1%E5%85%B7%E6%9C%89%E6%BD%9C%E5%8A%9B“>

《我们从分析28,304个实验中学到的5件事》

最近收购了A系列资金800万美元的Intellimize%E5%92%8C%E6%9C%80%E8%BF%91%E8%A2%AB%E9%BA%A6%E5%BD%93%E5%8A%B3%E6%94%B6%E8%B4%AD%E7%9A%84Dynamic” yield>

但就CRO堆栈而言,个性化仍然只占极少数。 使用A / B测试和个性化工具快速查看%E6%9D%A5%E8%87%AABuiltWith“>

  1. %E8%B0%B7%E6%AD%8C%E4%BC%98%E5%8C%96“>
  2. 优化33%;
  3. VWO 14%;
  4. Adobe 6%;
  5. AB美味4%;
  6. Maxymiser 3%;
  7. 动态收益率
  8. Zarget
  9. 转换率
  10. Monetate
  11. Kameleoon
  12. Intellimize

我们确实发现美国用户使用个性化的频率是西欧的六倍。 (此外,尽管该产品符合GDPR标准,但基于帐户的营销工具候补名单中约有70%来自美国。)

随着更智能的AI优化以隐私友好的方式改进自动分割,欧洲市场和其他地方的个性化可能会增加。

早在2017年,当Econsultancy调查CRO专业人员时,它发现个性化是CRO方法“最少使用但最有计划的。”大约81%的受访者认为实施网站个性化是“非常”或“相当”困难。 正如几份报告所述, 实施个性化的最大困难是数据采购。

我们关于个性化的调查结果与CRO领域的一些其他报告不同。 Econsultancy对CRO高管 (内部和代理机构) 的调查报告称,大约42%的内部受访者使用网站个性化,66%的机构受访者也是如此。 Dynamic Yield的2019年成熟度报告显示 ,44%的公司使用“基本”现场个性化进行“有限细分”。

当CXL对CRO专业人士的2017年报告进行调查时,55%的受访者表示他们使用某种形式的网站个性化。 在最新的CXL报告中,受访者对其作为CRO方法的“有用性”评分为1-5分,个人化为3.1分。

Evergage的个性化趋势报告中 ,主页和登陆页面是个性化体验的最佳区域(分别为45%和37%),其次是产品页面 (27%)。

5.没有升降机的实验学习不是免费的。

在我们的样本中,“获胜”实验 – 定义为提高转化率的所有统计学上显着的实验 – 产生了61%的平均转化率提升。

没有胜利的实验 – 只是学习 – 会对转化率产生负面影响。 平均而言,这些实验导致转化率降低 26%。

我们都喜欢说没有失败,只有“学习”,但重要的是要承认即使从非获胜实验中学习也需要付出代价。

《我们从分析28,304个实验中学到的5件事》

每个实验大约有2.45个变化, 每个实验在测试期间有大约85%的机会降低转换率(约为现有转换率的10%)。

企业需要存档并从他们的所有实验中学习 。 根据CXL报告,大约80%的公司存档他们的结果,36.6%的公司使用特定的存档工具。 这些都是CRO通过学习过去的努力为他们的实验项目加油的强有力指标。

但是,虽然跟踪结果和记录学习可以长期改进测试计划 ,但是迫切需要从失败的实验中学习并快速实施成功。

还需要很好地研究和规划测试想法,以便实验具有更高的成功可能性。 ResearchXL模型是提出更有可能获胜的数据支持测试理念的好方法。

结论

虽然我们的研究帮助我们建立了一些行业基准,但我们的一些研究结果并不令我们感到惊讶(例如,A / B测试的普及)。

但什么使我们感到惊讶的是,这么少的客户使用个性化。 我们预计会有更多的企业在这方面取得进步,因为该功能在我们所有的计划中都可用,并且不需要大量的流量。 如前所述,更好的数据管理可以使公司更容易实现个性化。

除此之外,我们认为多个目标的设置是一个积极的标志 – 测试人员希望更深入地了解他们的实验如何最大限度地提高学习效果,当然还有胜利。

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注