bts防弹少年团演唱会

bts防弹少年团演唱会

为什么“每次测试只改变一次”不是好建议

《为什么“每次测试只改变一次”不是好建议》

快速谷歌搜索“A / B测试错误”,你会发现很多文章。

这些列表中常见的是经常重复的建议,即“每次测试不应进行多次更改”。

事实证明,与转换优化领域的许多建议一样,它并非如此简单。

对于大多数网站来说,“每次测试只改变一件事”是非常糟糕的建议。

良好的意图不要提出有效的建议

当人们说你不应该每次测试改变一件事时,他们的意图通常是好的。

这是推理的要点,它在某种程度上确实有意义:

如果将A / B测试限制为仅一个元素,则可以准确了解哪个元素负责更改。 如果将一堆不同的更改捆绑到一个测试中,则很难知道哪些元素会使您的转换率上升,下降或根本不执行任何操作。

博主提供的常见例子是Timothy Sykes,他改变了他的视频,标题,副本和表单字段设计。 这导致转换率降低,他无法弄清楚哪些更改是好的,坏的还是中性的。

《为什么“每次测试只改变一次”不是好建议》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

而且,这种逻辑是有道理的。 有时候,你想要准确了解你的测试赢或输的原因。 但作为一刀切的建议,对实验策略的看法有限。

是否存在激进变化或重新设计的地方?

通过“每次测试的一次改变”逻辑,激进的变化,特别是网站重新设计,将完全是禁忌。 他们与One Change教条相反。

%E7%BD%91%E7%AB%99%E9%87%8D%E6%96%B0%E8%AE%BE%E8%AE%A1%E9%A3%8E%E9%99%A9%E6%9B%B4%E5%A4%A7“>

事实上,在一个我们相信每次测试只能改变一件事的世界里,想象下面的(荒谬的)对话……

客户:“嗨Alex,CXL会重新设计网站吗?”

亚历克斯:“ %E5%BD%93%E7%84%B6%E5%8F%AF%E4%BB%A5%E3%80%82“>

客户:“太棒了。 那么,在设计新的模板和结构之后,你是否会对新设计进行A / B测试,以确保它实际上更好? 我们没有失去销售额?“

亚历克斯:“比那更好! 我们一次做一个小改动,每个A / B测试一次。“

客户:“……”

客户:“但在重新设计中,不是有1000个单独的微观决策吗?”

亚历克斯:“是的! 但我们必须对每个变化进行A / B测试才能看出它确实产生了影响。 当然,我们需要大约十年才能推出一个新网站,但我们必须以正确的方式做事。 你有没有读过关于A / B测试错误的(X)博客文章?

*客户礼貌地脱离谈话*

因此,在一个理想的世界中,尤其是一个由彼此构建的%E8%BF%AD%E4%BB%A3%E5%8F%98%E5%8C%96%E7%BB%84%E6%88%90%E7%9A%84%E4%B8%96%E7%95%8C%EF%BC%8C%E6%98%AF%E7%9A%84%EF%BC%8C%E4%B8%80%E6%AC%A1%E6%B5%8B%E8%AF%95%E4%B8%80%E4%B8%AA%E4%B8%9C%E8%A5%BF%E9%99%90%E5%88%B6%E4%BA%86%E6%B5%8B%E8%AF%95%E4%B8%AD%E7%9A%84%E5%99%AA%E5%A3%B0%EF%BC%8C%E8%AE%A9%E6%82%A8%E4%BA%86%E8%A7%A3%E7%A9%B6%E7%AB%9F%E6%98%AF%E4%BB%80%E4%B9%88%E5%AF%BC%E8%87%B4%E4%BA%86%E5%8F%98%E5%8C%96%E3%80%82″>

但这一切都取决于你想要做什么。 有时您更关心业务成果而不是严谨的科学过程。 正如CXL的创始人Peep Laja所说的那样,“让我们说你改变了100件事,销售额增长了30% – 但你不知道是什么导致了这一变化。 实际上,你在乎吗?“

%E9%A9%AC%E7%89%B9Gershoff%E7%9A%84CEO%EF%BC%8C”>

无论如何,如果你长时间坚持“每次测试一件事”的建议,你最终可能达到你的“ %E5%B1%80%E9%83%A8%E6%9C%80%E5%A4%A7%E5%80%BC“>

《为什么“每次测试只改变一次”不是好建议》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

通常,有两种方法可以%E7%A7%BB%E5%87%BA%E5%B1%80%E9%83%A8%E6%9C%80%E5%A4%A7%E5%80%BC“>

  • 创新测试
  • 激进的重新设计

因此,让我们打开规则手册,并说如果你是一个务实的营销人员或分析师,有时失去对导致测试胜利的准确理解,实际上值得赢得测试(和赚钱)。

换句话说,有时我们可以牺牲“测试学习”来进行测试以获得收益。

此外,正如Peep所说,“更多的变化并不意味着没有学习:所有的变化都可以与同一个假设联系在一起。 例如,进行100次更改,所有这些更改都旨在提高信任度(一堆证据,以安全为中心的语言和徽章等)“

什么是最小的有意义单位?

所以你的测试策略应该取决于你的目标。 您是在尝试进行大规模更改,还是只是以迭代方式调整小事?

根据Matt Gershoff的说法,“分析师/客户确实需要确定最小的有意义的规模。”

这意味着,你真正关心看到效果的最小单位是多少。

《为什么“每次测试只改变一次”不是好建议》 Matt Gershoff:

“我的意思是,为了将逻辑推向极端,您可以争辩说改变标题会进行多项更改,因为您一次更改多个单词。

所以,让我们说标题是最小的有意义单位。

但也许对于另一种情况,最小的有意义的单位是一个页面 – 并且有一些完全不同的页面设计需要测试。 这完全取决于你的情况。“

每次测试一次更改是为高流量站点保留的豪华

如果你有高流量,地狱是的:测试个人的变化。 测试41%E7%A7%8D%E8%93%9D%E8%89%B2%E9%98%B4%E5%BD%B1“>

但是,一次测试一个元素对于高流量网站来说是一种奢侈。 变化越小,通常影响越小。 对于一个月收入超过1亿美元的网站,1%的相对改善值很多,但对于小型网站则不然。 所以他们需要摆动才能获得更大的改进。

您应该问的问题是“这种变化是否从根本上改变了用户行为?”更大的变化有更高的机会 – 从根本上改变用户行为的可能性更大

《为什么“每次测试只改变一次”不是好建议》

另一个因素是影响更大,例如+ 50%,您需要更少的样本量。 低流量网站可能无法拥有足够的样本量来检测小的改进,例如5%。 使用AB%E6%B5%8B%E8%AF%95%E8%AE%A1%E7%AE%97%E5%99%A8%E9%A2%84%E5%85%88%E8%AE%A1%E7%AE%97%E6%82%A8%E9%9C%80%E8%A6%81%E7%9A%84%E6%A0%B7%E6%9C%AC%E9%87%8F%E3%80%82“>

以下是Optimizely%E7%9A%84%E6%A0%B7%E6%9C%AC%E9%87%8F%E8%AE%A1%E7%AE%97%E5%99%A8%E7%9A%84%E6%8F%92%E5%9B%BE%EF%BC%9A”>

《为什么“每次测试只改变一次”不是好建议》

您可以看到,对于基线转换率为2%的网站,您需要800,000个唯一身份访问者才能看到最低5%的可检测效果。 但是,当您将其提高到50%时,您需要的访问者数量显着减少:

《为什么“每次测试只改变一次”不是好建议》

所以问题是,如果我们可以通过捆绑测试增加销售额,是否值得失去学习因素? 是。 毕竟,优化的目标是赚更多钱,而不是制造科学。

采用整体测试策略

为什么要限制自己采用单一的,教条式的实验方法? 1)单元素测试和2)包含多个更改的捆绑测试都有明确的用例。 此外,我看到许多人注销%E5%A4%9A%E5%8F%98%E9%87%8F%E6%B5%8B%E8%AF%95%E4%BB%A5%E5%8F%8A

然而,由于不同的原因,不同类型的实验是很好的。

Optimizely%E7%9A%84%E8%B5%84%E6%BA%90%E9%83%A8%E5%88%86%E5%BE%88%E5%A5%BD%E5%9C%B0%E5%BC%BA%E8%B0%83%E4%BA%86%E5%8D%95%E5%85%83%E7%B4%A0%E6%B5%8B%E8%AF%95%EF%BC%8C%E5%A4%9A%E5%85%83%E5%92%8C%E5%A4%9A%E5%85%83%E6%B5%8B%E8%AF%95%E7%9A%84%E4%B8%8D%E5%90%8C%E4%BC%98%E5%8A%BF%EF%BC%88%E9%A1%BA%E4%BE%BF%E8%AF%B4%E4%B8%80%E5%8F%A5%EF%BC%8C%E4%BA%BA%E4%BB%AC%E6%80%BB%E6%98%AF%E5%B0%86MVT%E4%B8%8EA” b>

基本上,他们说使用A / B测试的最常见方法之一是测试“两个截然不同的设计方向。”这将是一个多变化的测试,例如“公司的当前版本”主页可能有文本号召性用语,而新版本可能会删除大多数文字,但包含一个新的顶栏,用于宣传最新产品。“

但根据该文章,另一种A / B测试方法是“只有一个因素可供讨论”。

重点是,根据您的目标,任何一种策略都可能是正确的策略。

结论

它并不像“每次测试只改变一个元素”这样的常见建议一样简单。

例如,每次测试一次更改对于高流量网站来说是一种奢侈。 如果你没有很多流量,你将不得不比“每次测试一次更改”更务实。

此外,激进的变化需要根据假设捆绑变更。 虽然您可以在理论上测试每个单独的元素,但重新设计之类的东西在实践中需要花费10年才能开发出来。 对于一些公司来说,即使是3-5项改变的创新测试也需要半年时间才能执行。

更合理的方法是使用两种方法(如果你想探索交互效应,并且有足够的流量,则使用MVT),并采用整体方法进行优化。

%E7%89%B9%E5%BE%81%E5%9B%BE%E5%83%8F%E6%BA%90“>

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注