bts防弹少年团演唱会

bts防弹少年团演唱会

8种不同的A / B测试工具如何影响网站速度(原创研究)

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

您的访问者和Google都希望您的网站速度更快。 提高网站速度已被证明可以%E6%8F%90%E9%AB%98%E8%BD%AC%E6%8D%A2%E7%8E%87%E5%B9%B6

您正在进行a” b>以改善结果。 但A” b>实际上可能会减慢您的网站速度。

我们研究了8种不同的测试工具,以显示每个测试工具如何影响您的网站性能。 我们将概述背景,方法等,但如果您想直接查看结果请单击此处

背景

1.数据显示更快的站点转换更好

访客有耐心的门槛。 他们想要找到一些东西,不必要的等待会让他们想要离开。 就像在任何一家商店一样。

对您而言,这意味着较慢的网站收入较少。

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

在上图中,您可以看到OrangeValley客户之一的加载时间和转换率之间的关系(绿线)。 慢1秒,转换次数减少25%。

网站性能和转换之间的关系%E5%B7%B2“>

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

2.测试工具如何使我们在Google页面速​​度上花费12点

Simyo” page speed b>

《8种不同的A / B测试工具如何影响网站速度(原创研究)》
在头部分中实施A / B测试片段之前的页面速度得分

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

以下是基于推荐的供应商实施方法实施A / B测试工具时的开始渲染时间

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

实施A / B测试工具只会使他们的网站比他们的主要竞争对手慢,这影响了他们在SEO和转换方面的竞争力。

3.测试工具如何减慢您的网站速度

大多数A / B测试软件在加载和呈现网页时创建了一个额外的步骤。

许多人使用基于javascript的技术,该技术在访问者的浏览器上执行。 这称为%E5%AE%A2%E6%88%B7%E7%AB%AF%E8%84%9A%E6%9C%AC“>

这就是为什么有时你%E5%8F%AF%E4%BB%A5%E7%9C%8B%E5%88%B0%E5%85%83%E7%B4%A0%E5%9C%A8%E9%A1%B5%E9%9D%A2%E4%B8%8A%E7%9A%84%E5%8F%98%E5%8C%96%EF%BC%8C%E5%9B%A0%E4%B8%BA%E5%AE%83%E4%BB%8D%E5%9C%A8%E5%8A%A0%E8%BD%BD%E3%80%82″>

正如%E8%BD%AC%E5%8C%96%E7%A7%91%E5%AD%A6%E5%88%9B%E5%A7%8B%E4%BA%BA所说:

《8种不同的A / B测试工具如何影响网站速度(原创研究)》 Brian Massey, 转换科学
“Flash会引起对你正在测试的元素的注意,这意味着看到你的测试的访问者将关注那个元素。 如果治疗获胜,它将被推广到现场,消除了闪光。 测试中看到的增加可以完全消除。 所以,这是一个非常重要的问题。“

但这只是问题的一部分。 此类脚本的存在可能会阻止页面部分的渲染执行,从而进一步降低速度。

关于这个话题已经写了很多。 %E8%BF%99%E6%98%AF%E4%B8%80%E7%AF%87%E5%BE%88%E5%A5%BD%E7%9A%84%E6%96%87%E7%AB%A0%EF%BC%8C%E6%B7%B1%E5%85%A5“>

免责声明和透明度

更改图像和一些文本是许多A / B测试的一部分,因此使用这些简单的更改作为本研究的基础是有意义的。

但是,工具的性能当然部分取决于您正在测试的页面和执行的实验类型。

出于研究目的,我们需要测试相同的东西(以隔离该变量)。 也许其他实验可能导致不同的结果,所以自己测试这个也不会有什么坏处。

OrangeValley%EF%BC%8C%E6%88%91%E4%BB%AC%E6%A0%B9%E6%8D%AE%E5%85%B7%E4%BD%93%E6%83%85%E5%86%B5%E9%80%89%E6%8B%A9%E5%AE%A2%E6%88%B7%E4%BD%BF%E7%94%A8%E7%9A%84%E5%B7%A5%E5%85%B7%E3%80%82″>

在2015年底,我们遇到了客户端工具(闪烁效应)的问题。 优化代码和测试不同的实现不起作用,后端工具不是一个选项。 由于我们没有C计划,因此我们决定在加载时间时找出最好的客户端A / B测试工具 – 这就是为什么我们决定开始这项研究(并与您分享!)。

供应商响应

在进行研究后,我们还从一些工具中获得了响应和更新。

Marketizator%E5%A2%9E%E5%8A%A0%E4%BA%86%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%9A%84%E6%95%B0%E9%87%8F%EF%BC%8C%E5%B9%B6%E6%B7%BB%E5%8A%A0%E4%BA%86%E4%B8%80%E5%B1%82%E7%BC%93%E5%AD%98%E6%9D%A5%E6%9B%B4%E5%BF%AB%E5%9C%B0%E6%8F%90%E4%BE%9B%E5%8F%98%E4%BD%93%EF%BC%88%E6%97%A0%E8%AE%BA%E6%98%AFA” b>

VWO%E8%A1%A8%E7%A4%BA%E4%BB%96%E4%BB%AC%E5%81%8F%E7%88%B1%E5%BC%82%E6%AD%A5%EF%BC%8C%E4%BB%A5%E7%A1%AE%E4%BF%9D%E6%9C%8D%E5%8A%A1%E5%99%A8%E5%81%9C%E6%9C%BA%E6%97%B6%E9%97%B4%E6%B0%B8%E8%BF%9C%E4%B8%8D%E4%BC%9A%E5%AF%BC%E8%87%B4%E5%85%B6%E5%AE%A2%E6%88%B7%E7%9A%84%E7%BD%91%E7%AB%99%E5%B9%B2%E6%89%B0%E3%80%82″>

他们还指出,当我们在“清洁”账户中设置我们的研究时,这与完全运营的账户中的情况不同。 使用他们的技术,仅为用户加载相关实验,而一些其他供应商加载所有实验,而不管需要为访问者应用的实验(例如,Optimizely推荐在不再使用时归档实验)。

鉴于我们的“干净”帐户设置,VWO无法从本研究中的技术优势中受益。

最后也很重要的是,他们告诉我,上传到他们服务的任何图像都存储在美国,而不是通过任何CDN分发。 这意味着对于美国以外的VWO用户,最好将图像存储在自己的服务器上。 虽然在本研究中我们有意识地选择测试所提供的“开箱即用”服务供应商,但我们确实承认这可能导致背景图像加载速度比上传到区域服务器时要慢。

编者注:AB Tasty不同意研究结果,所以他们已被删除。 结果的完整性仍然存在,与个体供应商的反应无关。

遗憾的是, HP” optimost>没有回复我们的电子邮件,我们分享了这项研究的排名结果。 我们采访过的所有其他供应商( SiteSpect“>

方法论摘要

在本研究中,我们比较了8种不同的A / B测试工具,了解您的网站访问者所经历的加载时间。 我们的目标是确定我们应该考虑哪种替代工具,以尽量减少任何负面影响。

这是控件:

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

这是变化:

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

在变体中,我们更改了标题文本并插入了背景图像。

以下是我们研究的工具:

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

Monetate和Adobe Test&Target也是众所周知的工具,但不包括在内。 我们邀请他们参与本研究的任何后续工作。

测量性能

我们使用Speedcurve%E5%92%8C%E6%88%91%E4%BB%AC%E7%9A%84%E7%A7%81%E4%BA%BA

所有实验都设置相同:

  • 相同的托管服务器
  • 相同的位置和速度设置(15Mbps下行,3Mbps上行,28ms延迟)
  • 相同的变化
  • 根据供应商的%E7%9F%A5%E8%AF%86%E5%BA%93%E5%BB%BA%E8%AE%AE%E5%AE%9E%E6%96%BD“>
  • 当此选项可用时,上传到工具的背景图像
  • 在一周内每个工具进行80次以上的测试运行,以减少潜在异常值的影响(事后看来,所有工具都显示出稳定的测量结果)
  • 测试页面是客户登录页面的副本,我们修改了颜色和文本
  • 显示变化的时间是针对第一个视图(新用户将获得的第一印象)进行测量的

我们如何在A / B测试环境中测量经历的加载时间

在本研究中,我们将查看折叠上方元素的加载时间,因为这与%E7%BB%8F%E5%8E%86%E7%9A%84%E5%8A%A0%E8%BD%BD%E6%97%B6%E9%97%B4%E7%9B%B4%E6%8E%A5%E5%AF%B9%E5%BA%94%E3%80%82″>

我们真正想要衡量的是当加载与访问者相关的特定元素时 – 包括A / B测试工具所应用的任何更改,因为这会直接影响用户经历的加载时间。

我们的挑战是我们需要在加载原始元素之外进行测量 – 首先,当元素被加载时,第二,当客户端脚本(由8个供应商中的7个使用)在A / B测试中改变了这些元素时。

在某些情况下,最终文本是直接可见的,在其他情况下,原始文本被显示,然后在屏幕上更改为最终文本(闪烁效果)。

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

最后,我们自动化分析胶片的过程,以便在屏幕上为用户测量这些变化。 通过这种方式,我们可以测量变体文本“如何快速… [A / B测试工具]?”并将背景应用于页面。

最初我们打算查看速度索引,开始渲染和视觉完成等指标来比较工具。 但是,当我们查看渲染幻灯片和视频时,很明显这些数据指标并不能真正代表您的网站访问者会体验到的内容。 事实上,其中一个工具允许页面很快开始渲染,但最终访问者在他/她的浏览器中看到的结果却慢得多。

Speedcurve%E7%A1%AE%E5%AE%9E%E6%9C%89%E4%B8%80%E4%B8%AA%E5%BE%88%E5%A5%BD%E7%9A%84%E8%A7%A3%E5%86%B3%E6%96%B9%E6%A1%88%E6%9D%A5%E8%A1%A1%E9%87%8F%E4%BD%BF%E7%94%A8

在这种情况下,我们需要测量作为此实验一部分的不断变化的文本和背景。 虽然我们可以使用自定义指标衡量原始标题,但使用变体标题做同样的事情却更具挑战性。

结果:最快的8个A / B测试工具

这是我们发现的:

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

这里是图表形式的工具比较……

《8种不同的A / B测试工具如何影响网站速度(原创研究)》

然后是这些工具加载时间的视频比较:

我们希望我们发现的结果对您有用! 你有什么惊讶的吗?

结论:如何处理这些结果?

由于A / B测试工具之间存在明显的性能差异,因此谨慎选择是明智之举。 较低的性能可以降低转换率,测试可靠性和页面速度的下降对您的SEO位置不会有好处。

不要惊慌,如前所述并非所有网站都是一样的。 也许你的网站现在速度太慢,不能被第三方工具放慢速度。 因此,请务必使用Google Page Speed和Webpagetest.org等简单工具在您的网站上获取数据,并确保您使用的工具在您的网站上正常运行,或尝试改进您的设置。

我们希望这项研究对您有用。 您可以根据自己的经验随意分享或评论。

更新:发布后,VWO再次与我们联系。 他们告诉我们,变化代码不是最优的( %E9%98%85%E8%AF%BB%E4%BB%96%E4%BB%AC%E7%9A%84%E5%B8%96%E5%AD%90%E4%BB%A5%E4%BA%86%E8%A7%A3%E6%9B%B4%E5%A4%9A%E4%BF%A1%E6%81%AF“>

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注