bts防弹少年团演唱会

bts防弹少年团演唱会

PXL:优先考虑A / B测试的更好方法

《PXL:优先考虑A / B测试的更好方法》

如果你做得对,你可能在你的管道中有大量的A” b>想法。 一些好的(数据支持或仔细分析的结果),一些平庸的想法,一些你不知道如何评估。

我们无法一次测试所有内容,而且我们都拥有有限的流量。

您应该有一种方法可以优先考虑所有这些想法,使您能够首先测试最有潜力的想法。 而愚蠢的东西永远不应该开始测试。

我们怎么做?

有很多优先级的模型,虽然我们发现它们很有用,但我们也发现每个模型都缺乏这种或那种方式。 所以我们开发了自己的。

注意:如果您不知道要测试什么,请研究ResearchXL%E6%A8%A1%E5%9E%8B%E4%BB%A5%E8%8E%B7%E5%BE%97%E6%95%B0%E6%8D%AE%E9%80%9A%E7%9F%A5%E7%9A%84%E6%B5%8B%E8%AF%95%E6%83%B3%E6%B3%95%E3%80%82″>

现有的优先级模型有什么不对?

“从本质上讲,所有模型都是错误的,但有些模型是有用的” – 英国统计学家George EP Box

如果你已经在优化游戏中工作超过一分钟,你可能已经听说过一些优先级框架(我们之前已经写过它们)。 最受欢迎的两个往往是:

  • PIE框架
  • ICE框架

这两个框架都很有用,但也存在类似的缺陷。

馅饼

PIE%E6%A1%86%E6%9E%B6%E5%8F%AF%E8%83%BD%E6%98%AF%E8%BD%AC%E6%8D%A2%E4%BC%98%E5%8C%96%E9%A2%86%E5%9F%9F%E4%B8%AD%E6%9C%80%E5%B9%BF%E4%B8%BA%E4%BA%BA%E7%9F%A5%E7%9A%84%E3%80%82″>

  • 潜力 – 可以在页面上进行多少改进?
  • 重要性 – 页面的流量有多大价值? (交通量等)
  • 易用性 – 测试在页面或模板上实现的复杂程度如何?
《PXL:优先考虑A / B测试的更好方法》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

我们已经将这个框架用于客户端。 唯一的问题是每个变量的标准对解释过于开放。 您如何客观地确定测试想法的潜力?

如果我们事先知道一个想法有多大潜力,我们就不需要优先级模型。 或者,例如,如果你是大型团队的一员,并且你想要推动你的想法,为什么不指出几个潜在的点(因为它无论如何都是主观数字)? 在理想的世界中,框架将消除主观性。

此外,很难客观地将轻松的重要性和重要性放在一起。

%E4%BA%BA%E7%BE%A4%E7%9A%84

《PXL:优先考虑A / B测试的更好方法》

ICE分数

ICE Score是GrowthHackers%E7%9A%84Projects%E4%B8%AD%E7%9A%84%E9%BB%98%E8%AE%A4%E4%BC%98%E5%85%88%E7%BA%A7%E6%A1%86%E6%9E%B6%EF%BC%8C%E7%94%B1GrowthHackers%E7%9A%84%E5%88%9B%E5%A7%8B%E4%BA%BASean” ellis>

这是它的要点:

  • 影响 – 如果有效,会产生什么影响?
  • 信心 – 我有多自信这会起作用?
  • 易用性 – 实施的简易性是什么?

项目是一个伟大的产品。 我们用它来管理增长的想法。 但如果我能猜出会产生什么影响,为什么我会测试呢?

在这方面它与PIE框架有类似的问题,但此外它也遇到了“我对这个想法有多大信心?”的问题。再次,我们怎么能提前知道呢?

正如您所希望的那样客观和“基于经验”,在这里获得一致和客观的评级几乎是不可能的。 如果你真的想要追求这个想法,那么它也很容易歪斜。 或者即使我们真的试图尽可能准确地对测试想法进行评分,但3个中的2个评分很多都是关于“直觉”。

《PXL:优先考虑A / B测试的更好方法》

同样,一个有用的框架,但有其问题。

ICE(第二版)

还有另一个ICE%E6%A1%86%E6%9E%B6“>

  • 影响 – 可以衡量销售增长,成本节约等。任何有益于公司的事情。
  • 成本 – 直截了当,实施这个想法的成本是多少?
  • 努力 – 有多少资源可用,这个想法需要多长时间?

这个ICE框架对你评价事物的标准有点具体。 它也会缩小比例:你只能得分1或2,这取决于你是否相信机会是“高”还是“低”。然后你将所有数字加起来并得到总分。 你从这个数字做出决定。

《PXL:优先考虑A / B测试的更好方法》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

使用这样的二进制比例,可以避免集中趋势的误差。 较小的响应规模往往使事情更准确。 正如Jared” spool> ,“只要你扩大规模以查看更高分辨率的数据,它就可能是数据毫无意义的标志。”

这个更好但它仍然不完美 – 潜在的影响仍然是非常主观的。 你可以有很多想法,所有的得分都是3或4.然后你如何优先考虑这些?

HotWire的优先级模型

CXL” live> ,来自Hotwire%E7%9A%84” pauline marol foucher>

《PXL:优先考虑A / B测试的更好方法》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

如您所见,它们会扩展为包含许多特定于转化的变量,例如移动体验和定位。

在创建我们自己的健壮框架时,这和二进制ICE框架是一个灵感。

我们想要一些消除模棱两可的东西 – 在排序项目时你必须做出是或否的二元决策。 我们也想要具有特定变量和特定标准的东西,所以没有任何只是说“影响” – 相反,它会给出具体和客观的评价。

在与%E6%88%91%E4%BB%AC%E7%9A%84%E4%BC%98%E5%8C%96%E6%9C%8D%E5%8A%A1%E5%AE%A2%E6%88%B7%E5%90%88%E4%BD%9C%E6%97%B6%E5%B0%9D%E8%AF%95%E4%BA%86%E5%90%84%E7%A7%8D%E6%83%B3%E6%B3%95%E5%90%8E%EF%BC%8C%E6%88%91%E4%BB%AC%E7%BB%88%E4%BA%8E%E6%89%BE%E5%88%B0%E4%BA%86%E4%B8%80%E4%B8%AA%E7%9C%9F%E6%AD%A3%E5%B8%AE%E5%8A%A9%E6%88%91%E4%BB%AC%E5%92%8C%E5%AE%A2%E6%88%B7%E4%BC%98%E5%85%88%E8%80%83%E8%99%91%E6%B5%8B%E8%AF%95%E7%9A%84%E6%A8%A1%E5%9E%8B%E3%80%82″>

介绍:PXL框架

考虑到其他优先级框架的问题,我们开发了以下内容:

《PXL:优先考虑A / B测试的更好方法》

%E5%9C%A8%E6%AD%A4%E5%A4%84%E8%8E%B7%E5%8F%96%E6%AD%A4%E7%94%B5%E5%AD%90%E8%A1%A8%E6%A0%BC%E6%A8%A1%E6%9D%BF%E7%9A%84%E5%89%AF%E6%9C%AC“>

该框架带来了以下三个好处:

  1. 它使任何“潜在”或“影响”评级更客观
  2. 它有助于培养数据知识型文化
  3. 它使“易于实施”评级更加客观

一个好的测试想法是可以影响用户行为的想法。 因此,该框架不会猜测可能产生的影响,而是会向您询问有关它的一系列问题。

  • 变化是否高于折? →更多人注意到折叠以上的变化,从而增加了测试产生影响的可能性
  • 变化是否在5秒内变得明显? →显示一组人控制然后变化,他们可以在看到它5秒后分辨出来吗? 如果没有,它可能会产生较小的影响
  • 它是否添加或删除任何内容? →更大的变化,如消除干扰或添加关键信息往往会产生更大的影响
  • 测试是在高流量页面上运行吗? →高流量页面的相对改进会带来更多绝对美元。

如果我们所有人都在讨论关于测试内容的意见,那么优先级就变得毫无意义。 在CXL,我们已经看到了固体转换研究的强大功能,因此许多变量特别要求您将数据带到表中以优先考虑您的假设。 来自意见的想法得分较低。

PXL模型要求每个人带来数据:

  • 它是否解决了通过用户测试发现的问题?
  • 它是通过定性反馈(调查,民意调查,访谈)解决的吗?
  • 鼠标跟踪热图或眼动追踪是否支持该假设?
  • 它是否解决了通过数字分析找到的见解?

每周与每个人提出的4个问题进行测试讨论会很快让人们停止依赖意见。

“数据是妄想的解毒剂” – Alistar Croll和Benjamin Yoskovitz(精益分析的作者)

然后,我们还根据估计的时间将答案包括在内,从而轻松实现。 理想情况下,您可以让测试开发人员参与优先级讨论。

即使开发人员倾向于低估事情需要多长时间,但在此基于时间做出决定会使其更加客观。 少了一个“在黑暗中射击”。

分级PXL

我们在二进制规模的假设下做到了这一点 – 你必须选择其中一个。 因此对于大多数变量(除非另有说明),您可以选择0或1。

但是我们还想对某些变量进行加权,因为它们的重要性 – 如果添加/删除某些内容,更改是多么明显,易于实现。 所以在这些变量上,我们具体说明了事情的变化。 例如,在Changeability of Change变量上,您可以将其标记为2或0。

可定制

所有组织的运作方式都不同,因此认为相同的优先级模型对每个人都同样有效,这是天真的。

我们建立了这个模型,相信您可以并且应该根据对您的业务重要的事情来定制变量。

例如,您可能正在与品牌或用户体验团队一起运作,并且假设符合品牌指南非常重要。 将其添加为变量。

也许你是在一家初创公司,其收购引擎主要由SEO推动。 也许您的资金取决于客户流。 所以你可以添加一个类别,“不干扰搜索引擎优化”,这可能会改变一些标题或复制测试。

重点是,所有组织都在不同的假设下运作,但通过自定义模板,您可以对其进行考虑,并优化您的优化计划。

结论

如果您有很多测试想法,则需要一种方法来确定它们的优先级。 如何确定优先级对于测试和优化的质量以及组织效率都很重要。

我们的PXL模型旨在消除尽可能多的主观性,同时保持可定制性。 很想知道它如何影响您的优先排序工作。

%E5%9C%A8%E8%BF%99%E9%87%8C%E5%B0%9D%E8%AF%95%E4%B8%80%E4%B8%8B%E3%80%82“>

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注