bts防弹少年团演唱会

bts防弹少年团演唱会

启动测试程序时需要哪些工具

《启动测试程序时需要哪些工具》

人们在优化方面忽略的一个重要事实是你可以使用任何工具失败。 只有当你试图成功时,工具的差异才真正重要。

一旦你为一个成功的程序建立了%E6%AD%A3%E7%A1%AE%E7%9A%84%E6%80%9D%E7%BB%B4%E6%96%B9%E5%BC%8F“>

像所有的事情一样,这不是马斯洛的锤子摔倒的问题,而是关于如何看待你的工具,以及它们如何让你做你以前没做过的事情。 《启动测试程序时需要哪些工具》

图片来源

我将介绍一些正在进行的程序所需的关键工具。 而不是谈论%E7%89%B9%E5%AE%9A%E7%9A%84%E5%B7%A5%E5%85%B7” target=”_blank” rel=”noopener”>最好的工具并且没有任何价值,就像你拥有最便宜的工具并获得巨大价值一样。 关键在于如何使用您拥有的工具。 这将允许您查看任何工具并使其适合您的组织并根据您的需求进行自定义,而不是试图找到可能不存在的完美交钥匙解决方案。

最大的工具 – 您的测试解决方案

大多数人首先想到的是他们的测试解决方案。 如果你不能进行测试,很难有一个程序。 据说它实际上是该计划中最不重要的部分之一,因为令人惊讶的是大多数差异化的工具。

供应商试着让它听起来像是自切片面包以来最好的工具。 需要了解的重要一点是,尽管有这么多的承诺和花里胡哨,但大多数谈论的内容与取得成功无关。 没有完美的工具 – 嘿所有都有一些好的和一些坏的。 关键是要弄清楚什么最适合让你做正确的事情,同时也帮助你避免错误的行为。 相反,这里有一些要查找的关键因素和选择工具时要忽略的关键项。

速度

在考虑速度时,有两个不同的因素是重要的。 第一个是在您的初始部署和设置之后,您可以多快地从概念到执行进行测试直播? 任何计划的目标都是在30分钟或更短的时间内通过该概念获得至少5次体验的大多数测试。 这是一个难以实现的目标,但它确实表达了优先考虑测试速度以及操作员对CSS,HTML和Javascript的一般知识的需求的重要性。

这意味着诸如模板化规则,简单的站点交互,简单的界面和轻松导航等项目至关重要。 这也意味着应该优先考虑需要复杂URL定位规则,持续IT部署或需要手动jQuery设置的工具。

大多数情况下正确执行此操作的工具示例是Optimizely,而不是SiteSpect的示例。

速度的另一个概念是它在重量和速度执行中为站点添加了多少加载时间。 一般的经验法则是人眼在200-300ms的时间范围内注意事物,注意到变化会改变人们的行为 。 这意味着您需要一种不会过度压缩页面的工具,也不需要过度导致页面后交互更改的工具。 依赖于大量jQuery的工具看起来非常容易使用,但它们也会导致页面闪烁或交互效果。 了解如何减少闪烁效果

允许多种方式与页面交互和/或允许您在页面加载时控制项目的工具在此处具有主要优势。

注意:虽然许多工具提供易于使用的可视化界面来创建处理,但自动创建的jQuery代码通常很糟糕 – 这会导致跨浏览器兼容性问题和缓慢。 始终有开发人员检查并改进代码。 或者学习jQuery – 它会真的有用。

一致性

另一个关键因素是避免使用任何在会话基础上查看人员的工具,或者能够在人员处于活动状态时将人员从体验中删除。 虽然大多数人习惯于在会话方面思考问题,但事实是,如果今天,明天或者从现在开始的3个会话发生了什么事情并不重要。

重要的是能够更好地影响行为。 您必须使用真正的基于访客的度量标准系统,并在测试期间测试设计并查看一段时间内的行为。 没有明确执行此操作的工具,甚至是允许此视图和行为但不开箱即用的工具都可能导致严重破坏。

Adobe Target是一种在Google内容实验基于访问时利用基于访问者的指标系统的工具。

分割

虽然可以使用其他数据源作为分析记录系统,但这种行为并非没有缺点。 至关重要的是,您不要专注于定位功能,而应专注于查看同一用户的许多不同视图的能力。 如果工具不具备易于使用且功能强大的细分功能,或者只关注定位而非专注于细分,则可能会限制程序的价值。 更糟糕的是,这些工具可以强制执行不良行为,并使团队能够认为他们已经完成了某些事情。

您应该能够根据一系列因素创建许多不同的自定义细分。 限制用于分析的活动段的数量的工具,或者使用某些类型的段难以或成本过高的工具可能是有问题的。

更有问题的是那些鼓励使用如此小的片段以至于在数学意义上遭受巨大价值障碍的片段。 你必须总是自己思考(例如检查段的样本大小)。

没有工具可以更好地进行细分,然后Adobe Target虽然细分是Optimizely的问题(​​这就是为什么您可能希望使用Google Analytics进行测试后细分和分析)。

数据

数据是图片的重要组成部分。 大多数工具使您能够跟踪许多不同的事物,关键是他们鼓励什么以及跟踪您需要跟踪的内容是多么容易。 避免使用专注于跟踪无意义行为(如参与度,点击次数或网站停留时间)的工具。 相反,您需要的工具可以实现单个成功指标的一致且有意义的行为(例如,交易,每位访客的收入)。

专注于热点地图,点击跟踪等无意义内容的工具,或者突出显示同时跟踪大量指标的能力的工具,可以很好地告诉您,他们深深地投资于您,感觉您甚至成功了当你没有从测试中获得价值时。

VWO可能会让你误入热图数据,而谷歌内容实验,除了其他所有限制,都能很好地专注于一个关键指标。

数据的第二个维度是该工具如何通知您何时可以对测试进行操作。 简单地说,忽略所有这一切,因为没有一个工具可以做得很好而且不过度依赖粗略的统计测量来表达信心。 从单尾到两尾到贝叶斯或蒙特卡罗类型的评估都有一些小的改进,但即使在最好的情况下,它们在功能上还不足以告诉你何时完成测试。 供应商将此视为重点,这有助于突出距离与成功测试的距离有多远,以及可行的结果。

《启动测试程序时需要哪些工具》

在选择工具时经常忽略的另一个维度是数据的图形表示。 任何使其变得困难或无法以有意义的方式查看cumalative数据图的工具使得几乎不可能做出正确的决策。

虽然我强烈建议您在外部媒体(如Excel)中进行所有跟踪,但您通常可以从图表中了解更多内容,然后您可以从基本摘要屏幕中进行操作。 太多人在摘要屏幕上看他们的工具或者只是作为一个基本的报告级别,并花费太少的时间考虑图表的可读性或者尽可能多地查看尽可能多的比较数据段的能力意味着他们错过工具应该提供的巨大价值。

集成

能够轻松地与其他工具或其他报告系统集成是一件好事,但它也可能导致非常糟糕的行为。 请记住,因果数据的分析与正常的相关分析甚至定性数据非常不同。 您如何思考,如何报告以及数据的含义完全不同。

虽然可以通过这些来丰富它,但是当您可以访问这些工具时,更容易进行侧向跟踪或回溯到更舒适的学科。 这样你就应该在进行任何整合之前先考虑一下。 让纪律变得更容易变得更容易,不是增值,而是价值减损,所以在考虑如何将测试工具与其他现有工具集成时,请始终牢记纪律。 虽然一只盲目的松鼠可能会偶尔得到一个坚果,但从长远来看,这种可能性对他不利。

可以说,轻松与其他工具集成的能力应该像插件或简单的开关一样简单。 如果它涉及大量后端支持或API调用,那么它不是世界末日,但它可能导致未来的维护成本和速度错误。 能够绑定到CMS可能具有很高的价值,但如果它将测试创建速度降低到绝对停止状态,或者如果您无法测试布局和房地产,那么就不会因为您对模板感兴趣。

能够在运行时环境中传递有关用户的有用信息可以帮助您从细分中获得更多价值,只要重点是发现价值而不仅仅是盲目定位。 在初始页面加载时未执行的任何操作都会极大地影响可以利用它的人口,因此在查看不同数据导入的值时请记住这一点。

在Adobe Target具备此功能的同时,可以非常轻松地与多种工具集成,但设置非常耗费资源。

履行

无论一些单标签解决方案有多么简单,所以设置任何工具总是会产生前期实施成本。 在考虑到这一点的情况下进入工具的设置,并且目标是从第一天起以通用的方式设置事物,这将为您节省很多麻烦。 通常会根据需要部署内容,这会导致对工具的速度和价值的大量放缓和误解。

许多工具通过关注它们设置和开始的容易程度来利用这一差距。 在某些情况下确实如此,但最终使用工具的前几天或几周不应成为您利用哪种工具的决定性因素。 始终计划合适的时间和资源来设置工具,以便将来可以满足30分钟的规则,从而确保从第一天开始就需要信息。 不要只使用工具,因为您可以在页面顶部添加单个标记,原因仅限于此。 也不要仅仅因为您的小组不需要做工作而选择工具。 询问你的网络运营团队,就像SiteSpect一样,做繁重的工作并不是证明工具合理性的好理由。

最终,一旦完成实施,您的工具就会变得无处不在。 您应该很少需要更改设置,并且您应该能够将该工具视为一种思考。 这只是你利用的东西,它不应该是你的所有程序的结束。

有关如何设置测试或运行工具的知识是必需的,但是在确定成功的优先级列表上是如此之低,一旦你超越了最初的痛苦,它必须是背景嗡嗡声而不是持续节拍。 如果不是,那么你需要真正看看你是否拥有合适的工具,或者你是否正确设置了东西。 现在一点点疼痛可以让你免于大量头痛

自然差异

无论你做什么,如果你将相同的经验与自身的副本进行比较,它将无法匹配。 这被称为方差,了解您的工具和场地的范围非常重要,因为这不考虑置信度和其他度量的人口错误率。 这将是你在小型升降机上行动多少以及你可以测试什么的一个重要因素,所以这不是一件容易接受的事情。 对于大多数工具和程序来说,他是最容易被忽视和误解的事实。

由于数据收集的性质,每个工具都有一定程度的自然差异。 可以说,数据系统及其在您网站上的设置方式会对存在多少差异产生重大影响。 如果您在完全购买之前可以为您的工具运行测试版,那就太棒了,但即使您不能在完成任何事情之前知道您的差异。 专注于基于访问的度量系统和具有较低人口或有限产品目录的站点的工具将具有更高的方差。

《启动测试程序时需要哪些工具》

很多人错误地认为只运行一个A / A变量足以获得方差读数,但事实是方差有一个范围和规范化模式,就像每个数据点一样。 这意味着您需要进行全面研究,并且您需要知道如何查看该数据。 我通常建议你做同样事情的5-6次体验,并在你网站上大多数测试的相同条件下运行。 6个经验为您提供了30个数据点,这意味着您可以更深入地了解平均值和标准化,以及测试周期中给定时间的beta。 你可以每年尽可能少做一次,不过我建议的次数多于此。

自然差异可以影响您对工具其他部分的全部使用,例如自信,它可以对您测试的内容以及您可以称之为胜利者的内容产生重大影响。 全站点指标超时的大多数网站最终会出现2-3%的差异。

我曾与前50名平均差异低至1%的网站合作,并与较小的铅基站点合作,两周后差异高达6-7%。 重要的是要注意的是,无论那个范围是什么,你必须将所有结果的正负值处理为中性或不可能读取,即使你有100%的信心(经常出乎意料地发生)。

如果你不能以3%的升力给胜利者打电话,那么你将会有更少的赢家,并且必须专注于那些具有更高价格的东西,比如房地产,而不是更小的内容或外观变化。

其他工具

测试跟踪表

我在一个简单的Excel电子表格中进行了所有分析,我通过Google Drive分享。 我已经利用了其他媒介,并且我已经使用了其他共享工具,但最终我们的目标是你应该有清晰的跟踪并让其他方可以访问它。 该工具需要显示性能,估计影响,最重要的是累积图形结果。 使用外部电子表格的另一个关键价值是,如果您的组织需要,您可以使用它将不同的操作组合成累积收入。

作为本文档的一部分,您应该保留每个变体的外观记录(屏幕截图)。 我还对我的普通测试组进行了调查,看看他们认为结果是什么,并将其作为本文档的一部分作为标签保存,以便我们记录总票数,看看我们的正常频率,这是几乎从不。

计划跟踪资源

您应该拥有一个简单的存储库 ,其中包含所有已运行的测试以及您在通常可访问的位置中的未来路线图。 我目前使用维基,但还使用了另一个共享电子表格和/或项目管理工具来完成此任务。 《启动测试程序时需要哪些工具》

这里的关键是人们永远不应该问问什么是运行,在哪里,或者影响是什么。 他们应该能够看到所有过去的经验,并且能够很好地了解何时运行以及未来的事情可能会运行(所有路线图都必须非常灵活,因为您围绕资源构建它们而不是获取资源符合你的路线图)。

用于测试文档的专用工具目前正处于私有测试阶段,但应尽快推出。

行动规则

重要的是要有一份商定和可用的文件,表明你将如何采取行动进行测试。 让人们在特定测试之外就此达成一致并使其成为易于访问的资源,这大大减少了令人头疼的问题。 这不一定要复杂,但它应该包括:调用测试所需的内容,调用时会发生什么,调用低性能体验的方式和时间,方差研究的结果,以及首先运行测试是必需的。

创建此文档的一大好处是,它可以帮助您让人们了解这些内容,并帮助他们了解您将要做的事情,即使他们没有直接参与。 即使这只是你维基上的另一个页面,它将它作为一个单独的项目具有很大的价值,而且往往被忽视。

这是它的样子(我已经看到它以10种不同的方式完成):

《启动测试程序时需要哪些工具》

生活知识库

到目前为止,您从成功的计划中获得的最有价值的东西是您从测试中学到的经验教训。 什么是重要的,什么不是,你在哪里,最重要的是你错了。 虽然很%E5%AE%B9%E6%98%93%E4%BB%8E%E4%B8%80%E6%AC%A1%E6%B5%8B%E8%AF%95%E4%B8%AD

您可以使用与其他跟踪相同的媒体,也可以创建另一种更易于访问的媒体。 如果它们是您的大型组织内部网的一部分,那么Wiki再次对此非常有用。 向所有人提供此信息并不断提醒或指出人们也将极大地提高您的计划的可见性和覆盖面。 没有任何东西可以让人们购买测试,如一致和有意义的结果。

结论

成功的计划有很多东西。 拥有正确的心态是最重要的,但其次是强化良好行为并使您的生活更轻松的工具。 虽然个别工具最终是可替代的,但所需的结果却不是。 太多的程序认为只有一个测试工具和一个优化程序是一样的。 很少有人也将所有其他部件放在适当的位置,以便让一切都能全速运转。

就像测试成功一样,在启动测试之前确定失败,而不是之后。 做必要的基础工作以获得所需的工具并以正确的方式利用它们可以大大改善程序。 避免使用工具或采取简单的方法可能会阻碍程序的运行。 它需要训练才能预先承受少量的痛苦,并且在你陷入特定的测试之前将你的所有鸭子连续排好。

“男人已成为他们工具的工具。” – 亨利大卫梭罗

特色图片

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注