bts防弹少年团演唱会

bts防弹少年团演唱会

创新测试:它是什么,它不是什么以及何时尝试它

《创新测试:它是什么,它不是什么以及何时尝试它》

大多数人坚持测试频谱的一端,这是迭代测试的结果。 为什么? 可能因为它是最受关注的,最受宣传的。

然而,还有另一个需要探索的光谱,即创新测试的落脚点。 理解一个没有另一个是对你自己,你的同事和你的老板/客户的伤害。

坚实的测试计划包括全谱。

迭代测试与创新测试:哪个最好?

将迭代测试和创新测试视为坐在频谱不同侧面的近对立面。 一方面,您拥有科学的迭代测试和更多风险驱动的创新测试。

首先,让我们回到尼尔森诺曼集团在2012年写的一篇文章 Jakob Nielsen。在其中,他定义了三种不同的方法来改进设计:a / b测试,可用性和激进创新。

请注意,当Jakob说“更好的设计”时,他的意思是“更多转换/增加销售”。

雅各布总结了这三种方法……

《创新测试:它是什么,它不是什么以及何时尝试它》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

在这里澄清一些定义非常重要,这样我们才能在同一页面上……

A / B测试将实时流量分成两个(或更多)部分:大多数用户看到标准设计(“A”),但是一小部分用户看到替代设计(“B”)。

可用性指的是全方位的以用户为中心的设计 (UCD)活动:用户测试,现场研究,并行和迭代设计,低保真原型设计,竞争性研究以及许多其他研究方法。

激进设计创新创造了一种全新的设计,偏离过去的设计,而不是从更标准的重新设计项目中使用的爬山方法中脱颖而出。

所以,他真正说的是更好设计的三种方法是:a / b测试,可用性研究和彻底的重新设计

当然,Jakob认为没有理由这三种方法必须单独使用……

《创新测试:它是什么,它不是什么以及何时尝试它》雅各布尼尔森 ,尼尔森诺曼集团

“因为可用性平均赚钱最多,所以这是我推荐的策略。 (如果您阅读过去的文章,那就不足为奇了。)

但是,实际上, 没有理由将自己局限于单一策略,因为这3种方法相互补充。“ (通过NN / g)

当所有这三种方法同时使用时,它被称为创新测试。

迭代测试

那么,什么是迭代测试呢? 迭代测试只是标准的a / b测试,是三种方法之一。 它是一次添加,修改或删除一个元素。

例子:

  • 更改按钮颜色。
  • 将“下载电子书”更改为“下载我的电子书”。
  • 改变英雄形象。

PRWD首席执行官Paul Rouke解释了你应该在他的Elite Camp 2015演示中选择迭代测试的时候……

《创新测试:它是什么,它不是什么以及何时尝试它》Paul Rouke,PRWD

“为什么选择迭代测试?

  • 快速获胜
  • 开始学习
  • 使用你的工具
  • 有限的资源
  • 政治生意
  • 建立势头
  • 证明投资回报率
  • 发展文化

在开始运行测试之前,你想走路。“

创新测试

另一方面,您有创新的测试。 也就是说,一次添加,修改或删除多个元素。

例子:

  • 介绍新功能或新功能。
  • 更改站点的导航结构。
  • 改变整个折叠价值主张

当你应该选择创新的测试时,保罗也会接触到……

《创新测试:它是什么,它不是什么以及何时尝试它》Paul Rouke,PRWD

“为什么选择创新测试?

  • 大幅增加
  • 真正转移用户行为
  • 可以量化的重大变化证据
  • 在后端系统更改之前
  • 商业主张评估
  • 达到当地最大值
  • 价值主张学习
  • 简化阶梯式流程
  • 数据驱动网站重新设计

您希望发展业务,而不仅仅是优化网站性能。“

为什么它会冒险

由于您一次更改了网站的多个元素,因此无法知道增加或减少是更改A还是更改B(或更改C,D,E)的结果。

CXL的高级转换策略师玛丽波利(Marie Polli)解释得很好……

《创新测试:它是什么,它不是什么以及何时尝试它》Marie Polli,CXL

“因此,例如,如果您在页面上测试新功能,您将永远不知道它是否失败,是否因为人们不喜欢您为其创建的设计,或者因为他们不喜欢该功能。 这是一个更大胆的变化,它可以带来更高的利益,但它也可能会影响您的收入在负面方向。 所以,你需要小心。“

通过迭代测试,您知道转换增加了X%,因为您确实做到了A.通过创新测试,您没有那么奢侈。 这是你必须支付的价格。

案例研究: 策略师

CXL Live ,Marie分享了一份来自CXL客户Strategyzer的案例研究。 这是控制和变化……

《创新测试:它是什么,它不是什么以及何时尝试它》
%E5%9B%BE%E5%83%8F%E6%9D%A5%E6%BA%90“>

您无法从上图中看出,但原件有一个每5秒更换一次的滑块。 很难阅读,使价值主张混乱。

此外,四个大胆的标题是可点击的,但它不是很明显。 因此,没有人真正点击它们。

这里有很多问题,所以我们尝试了一项创新测试。 玛丽和合作。 使价值主张更加清晰,并明确表示您需要选择四个标题中的一个。

正如你所看到的,结果说明了……增加了22%。

为什么你应该关心创新测试

你应该关注创新测试有三个不同的原因:它会帮助你找到更大的机会和胜利,它比激进的重新设计更保守,而且更令人兴奋。

你会发现更大的收益

通过创新测试,您可以测试新的业务创意,新服务,新产品等。这些都不属于迭代测试类别。 例如,测试复制/按钮颜色和测试潜在的商业模式添加之间存在很大差异。

一旦您通过创新测试发现了这些巨大成果,您就可以使用它们并通过迭代测试创建雪球效果。

你必须冒大胆的风险才能发现最初的大机会。 它们不仅仅来自小型的迭代测试。

它比激进的重新设计更安全

正如雅各布所说的那样,彻底的重新设计或激进创新可能非常危险。 在另一篇文章中,Peep提出了一个很好的观点……

亚马逊最后一次彻底重新设计是什么时候? 大多数公司每3年更换一次网站,但亚马逊目前的外观与5年前的外观并没有太大差别。 所有的变化都是迭代的。 他们通过测试改进了布局。 当他们改变某些东西时,他们*知道它有效 – 因为他们已经(反复)测试过它。 是的,不同 – 但并不完全不同。 你仍然可以识别它。

当您实施彻底的重新设计时,您可能会遇到一些不同的问题……

  1. 转换实际上保持不变或减少,因为有些事情变得更好而有些事情变得更糟。 通常,他们互相取消,或者更糟糕的是,导致更少的转换。
  2. 激进的重新设计开发是耗时且劳动密集的。 通常,您将在重新设计上花费更多时间和资源而非预期。
  3. 激进的重新设计成为一个艺术项目而不是科学实验。 也就是说,它最终由委员会设计,因为您在众多设计迭代期间偏离数据和研究。

如上所述,创新测试意味着你不会知道增加或减少是由于A,B,C,D或E的变化.Mad解释说,激进的重新设计使其变得更加困难。

《创新测试:它是什么,它不是什么以及何时尝试它》Marie Polli,CXL

“很多客户来找我们说,’嘿,我们希望你改变我们整个网站。 这是废话。 它没有用,它没有转换。 我们希望你改变它,让它变得更好。 但您也可以通过创新测试来改变它。

您可以首先改进我们为其中一个客户所做的布局。 这是一个非常混乱的布局,你有很多颜色。 我们使这些优势脱颖而出,让您“呼唤我们”在那里脱颖而出。 它更清楚……我们在整个网站上做到了。 这带来了61%的提升……人们实际上可以看到好处,他们不再失去。

《创新测试:它是什么,它不是什么以及何时尝试它》

然后,客户也想改变导航,并带来7%的减少。 如果我们一起完成这一切,那么7%的减少将被61%的提升所吞噬。 因此,您可以进行创新测试,从根本上改变您的网站。“

将创新测试视为微型激进的重新设计。 例如,您可以从重新设计布局开始,而不是在一次重大的重新设计中重新设计布局和导航。

这不是彻底的改革,也不是完全背离控制。 因此,不是耗费时间或劳动力。 它还受可用性测试和定性研究与委员会投票和设计师意见的推动。

尽管如此,创新测试很容易“相互抵消”,导致转换没有变化。 例如,布局重新设计的元素可能会相互抵消。

这是你必须承担的风险,但至少,它比开发激进的重新设计风险小。

这很有趣

创新测试更有趣。 您是否宁愿花时间重新编写导航系统或按钮副本? 两者都可能是有影响力的,但其中一个肯定比另一个更令人兴奋。

由于创新测试比迭代测试更有趣,因此很容易让整个团队参与进来并考虑假设,押注结果等。

你要么学到很多东西要么取得重大胜利。 风险很大,会带来很大的回报。

何时尝试创新测试

这就是……创新测试不是每个人的正确选择。 创新和迭代测试都有时间和地点。 了解何时最好使用每个都是离合器。

作为一般规则,您应该在以下情况下使用创新测试:迭代不再足够,您已经测试了您的心脏,或者您的流量较低的站点。

1.迭代不够

如果没有正确的基础知识,那么迭代是不够的。 例如,假设您的价值主张不明确。 你必须对标题,英雄形象等进行单独的迭代测试。或者,你可以在整个折叠区域上进行创新测试。

那么,你怎么知道你是否没有正确的基础知识呢? 我们使用ResearchXL模型……

《创新测试:它是什么,它不是什么以及何时尝试它》

为了打破这一点……

  1. 启发式分析:通过检查关键页面的相关性,动机和摩擦来识别“感兴趣的领域”。
  2. 鼠标跟踪分析:分析热图,点击地图,滚动地图和用户会话视频回放。
  3. Web Analytics Analysis:执行分析运行状况检查 。 设置KPI的度量并识别漏斗中的泄漏。
  4. 用户测试:确定可用性和清晰度问题,这些是摩擦的主要来源。
  5. 定性调查:客户调查,网络流量调查,实时聊天记录和访谈可以成为宝贵的信息来源。
  6. 技术分析:进行跨浏览器测试,跨设备测试和速度分析。

逐步完成该模型将告诉您是否涵盖了基础知识。 如果不这样做,创新测试很有可能是更智能的解决方案。

你已经完成了很多测试

如果您已经完成了大量测试,那么您将不可避免地开始看到您的迭代测试结果变慢。 这意味着您已达到当地最大值 ,即达到当前设计的峰值时。 一旦开始接近局部最大值,您就会开始收益递减

来自Experiment Engine的 Claire Vo对CXL Live的收益递减做了一个有趣的评论……

《创新测试:它是什么,它不是什么以及何时尝试它》Claire Vo ,实验引擎

“不存在收益递减。 减少努力。 你开始失败并决定在别处测试。 如果你继续速度,你可以发现你不相信的胜利。“

她的演讲是高速测试 ,她认为通过提高测试速度可以克服“收益递减”。 从本质上讲,克莱尔希望您确保在继续前进之前已经从当前设计中获得绝对最大化。

当你开始体验到收益递减时,玛丽建议做类似的事情……

《创新测试:它是什么,它不是什么以及何时尝试它》Marie Polli,CXL

“创新测试可以帮助你顺利通过。 它可以帮助您将您的网站提升到一个新的水平。 所以,首先你做一个创新的测试,然后你开始迭代它。 你的网站上有新的东西,效果更好,然后你就做得更好。 这将帮助你跨越这一点。“

因此,一旦您确定自己已达到局部最大值,就进行创新测试,然后继续进行高速迭代测试。

此外,考虑到当您完成大量测试时,当前设计剩余的“大赢”数量很少。 所以,你正在寻找小提升(1-5%),几乎无法衡量。 您需要使用AB%E6%B5%8B%E8%AF%95%E8%AE%A1%E7%AE%97%E5%99%A8%E6%9D%A5%E4%BA%86%E8%A7%A3%E6%A3%80%E6%B5%8B%E6%9F%90%E4%B8%AA%E6%8F%90%E5%8D%87%E6%89%80%E9%9C%80%E7%9A%84%E6%B5%81%E9%87%8F%E3%80%82″>

我用Optimizely的样本量计算器向你展示了为什么……

《创新测试:它是什么,它不是什么以及何时尝试它》

要计算上述案例中的5%变化,您需要240,000人才能看到每个变体。 在你测试的页面收到480,000个访问者之前需要多长时间?

现在让我们来看看2%的变化……

《创新测试:它是什么,它不是什么以及何时尝试它》

每种变化1,800,000人。 是您的主页或定价页面还是每个月大约有3,600,000名访客?

显然,你需要大量的流量来检测那些小的提升。 提升越小,您需要的流量就越多。 当然,也许你会在两三个月内得到480,000名访客,但那是8-12周…这是一个非常长的考验。

Ton Wesseling of Testing.Agency解释了为什么长时间的测试可能成为一个问题……

《创新测试:它是什么,它不是什么以及何时尝试它》Ton Wesseling ,Testing.Agency

“重大影响不会经常发生。 大多数情况下,您的变化只是稍微好一些,因此您需要大量数据才能注意到重要的赢家。

但如果你让你的测试运行时间太长,人们往往会删除他们的cookie ……两周内会有10%的时间。 当他们返回测试时,他们可能会出现错误的变化。 因此,随着时间的推移,你的样本变得越来越污染。“

从本质上讲, 污染会消耗您首先测量的微小差异。

你没有多少交通

如果你真的,真的没有很多交通,甚至10-30%的提升变得难以追踪。 实际上,Peep写了一篇名为Do not Do A / B Testing的文章 ,其中他警告优化者转换率低(因此流量低)不要浪费时间进行A / B测试。

粗略地说,如果你每个月的交易少于1000笔(购买,注册,销售线索等) – 你会更好地投入其他工作。

很多微型企业,初创公司和小企业都没有那个交易量(尚未)。

您*可能*每月只需500次交易就能运行A / B测试(读取: 我需要多少次转换? ),但每次成功实验需要更大的影响才能提高这些测试的有效性。

创新测试意味着更大的提升(30%及以上),这使得优化人员无需大量流量即可访问。

如何入门

在进行创新测试之前,请务必问自己以下四个问题……

  • 测试是基于数据驱动的假设吗? 你仍然需要做研究,你仍然需要数据驱动。 现在不要把想法从头脑中拉出来并称之为创新测试。
  • 测试设计是否与假设完全匹配? 创新测试不是艺术。 不要让设计师和你的其他同事被带走。 专注于假设。
  • 测试是否已正确设置并附加了所有目标? 投入工作以确保您的测试已在测试工具中正确设置,并且您的Google Analytics设置完美无瑕 。 如果你跳过这个,你将在以后错过分割机会 ,这意味着更少的见解。
  • 您是否进行了适当的质量保证检查? 通过创新测试,多页元素已经改变,这意味着它们可以轻松破解。 这就是为什么进行全面和适当的质量保证(QA)检查很重要。 页面的价值越高(例如结账),QA就越重要。

无论您做什么,在创新测试开始后继续进行定性研究 。 这是发现问题和识别出错的最佳方式。 您可以将收集的新数据与收集的测试前数据进行比较,以了解您的测试如何影响您的受众群体。

结论

马克扎克伯格曾说过, “最大的风险是没有冒任何风险。 在一个正在快速变化的世界中,唯一能够保证失败的策略就是不承担风险。“ [Tweet It!]

您是否应该每次都冒险进行创新测试? 不,当然不。 创新测试并不比迭代测试好(反之亦然); 这是所有的情境。

但是,如果您发现自己处于需要的状态,您应该意识到这种可能性(并对其开放)。 例如…

  1. 您已经完成了ResearchXL模型,并意识到您所涵盖的基础知识很少……迭代不足以解决问题。
  2. 你做了很多测试并达到了当地的最大值。 从您当前的设计中获得的只是小型升降机(1-5%)。
  3. 您没有很多流量,因此您没有很多转换。

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注