bts防弹少年团演唱会

bts防弹少年团演唱会

优化者的艰苦生活 - 袁赖特[视频]

《优化者的艰苦生活 - 袁赖特[视频]》

这是CXL Live 2015的另一个演示文稿(注册2016年列表,以预发布价格获得门票 )。

虽然优化很有趣,但它也很难。 我们问了很多问题。

为什么用户会做他们做的事情? X实际上是在影响Y,还是仅仅是相关性? 测试遭到轰炸 – 但为什么? 电子艺界分析总监袁赖特将带领您完成我们所面临挑战的公开讨论 – 优化者优化者。


CXL Live 2016:3月30日至4月1日。 登录通知列表以享受特别优惠。

完整的成绩单

大家下午好。 我很高兴见到这里的每个人。 这是一个如此美丽的度假胜地,这是一个如此伟大的会议。 帕特和你们在这次会议上做得非常棒。 谢谢你。 最重要的是,能够热情地相信转换,AB测试和网站优化的热情从业者真的很荣幸。 这是我六年和七年前在我第一次进行AB测试时发现的同样的激情,一个灯泡开始亮起来说,哦,我在各种分析师学科15年后的天哪,这就是我的意思做。

这是一次学习AB测试的惊人之旅。 但为什么我这么喜欢它呢? 因为AB测试有那么多。 你说它的名字。 它是分析性的,它是科学,它的创造力,技术,协作,处理模糊,建立桥梁,项目[听不见00:01:10],最重要的是,它的客户之声。 他们给我们的每一次点击,他们都留下了这种气味,我想其中一位主持人谈到了这种气味,他们把它留在那里。 通过AB测试保持我们的耳朵,我们很荣幸客户真正想要的。 最重要的是,对我的AB测试是即时满足。 我们想做出商业决策。 但是怎么样?

当你进行AB测试时,它的[听不清00:01:38]帮助了企业,没有帮助,没关系。 因此,您可以睁大眼睛做出业务决策,并让他知道某个业务决策的后果。 太奇妙了。

另一方面,AB测试非常复杂,它变得越来越复杂。 这是一段有趣的旅程。 为什么这么复杂? 因为它是一个如此创新的领域,它正在跟踪许多大脑的力量,继续为数字资产带来创新。 这是技术方面的问题。 如果您看到用户端,那么人们如何使用PC从平板电脑到手机,现在再到手表的数字财产的接触点就越来越多了。 复杂性就在那里。 它只是让我们的工作人员不断地在我们的脚趾上,创新领域,满足客户的需求。

所以今天真的,当你想到我六年,七年的旅程时,我真的很荣幸能够为像[音频不清晰的00:02:43]这样的公司工作,从宝宝那里孵化他们的全球个性化和行为瞄准计划种子要成功。 我同样很荣幸能够在OfficeDepot.com上建立AB测试实践,这是一个位于美国的39亿美元的网站,主要是办公用品。 在欧洲它的[音频不清晰00:03:05]所以真正建立了AB测试,没有做AB测试,39亿美元建设测试网站上一些最大的功能,从网站搜索到导航,从页眉到页脚检查出来,你说出来。 它确实非常强大。

这是一段美妙的旅程。 不过事后看来,当我看着自己时,这也是一段非常谦卑的旅程。 所以我做的越多,我就越觉得自己什么都不知道,我需要学习更多。 继续创新。 在那里真是悖论,我喜欢这个。

所以今天我有同样的谦虚来到这里分享我的一些故事,最重要的是,真正向其他人学习,精彩的从业者见解,以及只是征求你的反馈。 AB测试,另一个有趣的事情是,它可以如此迅速地变得复杂。 从字面上看,如果你正在进行这六个月的大量AB测试,你将会发现困扰大多数高级优化器的问题。 所以这对我们来说真的是一个平等的竞争环境,可能是最好的创新理念[听不清00:04:11]解决问题的最佳方式,何时出现[音频不清晰00:04:15]。

对于今天的演讲,我想专注于讨论两件作品。 首先,我已经看到了一些成功的课程,从头开始构建AB测试程序,我也想稍后谈谈困扰我或我学会如何处理的许多问题。 我喜欢分享这些,并听听你们如何处理这个问题。

首先,当我考虑AB测试程序时,就像我认为我们不断讨论这个问题一样。 你说过,当你进行AB测试时,你需要有一个假设。 AB测试程序也是如此。 首先是目标。 我们在这里想要完成什么? 该计划的目标是什么? 以下是我听过的一些事情,我已经了解到,我已经做了一点点,有些目标可能是,我想保护业务,不做任何伤害。 或者我希望它是损害控制,或者它可能是,我想得到我的钱。 我知道[音频不清晰00:05:11]想要钱。 给我我的投资回报率。

最重要的事情之一将是看门人的微小变化。 因此,基于不同的目标,我们希望听到不同的计划,以满足那里的业务需求。 例如,如果它没有伤害,那么我将充满信心地专注于负面的。 让企业主对获胜者和[听不清00:05:35]做出不同的决定,选择我们的重点是[听不清00:05:37]。

对于损害控制,它类似于没有伤害,为什么你找到了可能被测试的东西,而不是胜利,但实施这一点的人,做了损害控制。 这里的目标是找出系统运作的原因。 只有为什么会导致行动能力,而不是数据本身。 因此,在这种情况下,使用定量和定性分析,我稍后会谈到,就是回答这个问题。 指导决策,首先是进行迭代优化。 不要放弃。 它不是世界末日,只是因为它第一次不起作用并不意味着你无法全部尝试。 它确实具有不断测试的文化。 永远不要放弃,找到迭代,对它们采取行动,让它变得更好是非常重要的。

现在第三件事,例如投资回报率,如果建立投资回报率是你的目标,这就是这个领域,我做了很多。 我将是第一个说我对同样的事情感到内疚的人。 但现在事后来看,如果我今天和将来这样做,我想要非常保守,因为AB测试获胜者有保质期。 你将逐渐减少。 保质期如何? 如果您实施获胜者,无论是AB测试工具,使用您的网络分析继续观看,她都会保守。 我看到电梯了吗? 我想我测试了一个胜利者。 注意这一点,并在周期性的角度继续使用技术,重新测试它们以验证,“我还需要两年前测试过的东西吗?”当他们谈论美元时,试着保守。

第三件事是[音频不清晰00:07:23]。 例如,如果它是网站更改的守门员,那么这种方式就是具有测试一切的心态。 从团队的角度来看,你必须拥有民主的工具,民主处理的地方能够使该组织能够扩展。 所以它的规模。 因此,仔细考虑这些因素非常重要。

现在,文化怎么样? AB测试文化怎么样? 什么样的文化? AB测试组织中的一种形式。 现在,当我们进行AB测试时,我们都想赢。 没有人想去那里输,对吧? 但这不仅仅是赢或输。 这是关于学习,因为Lukas触及那个,你必须学习一些东西。 这就是为什么你想专注于此。 可能性,这是优势比,赔率,这是我们已经做了很多的事情,我们实际上做了基准。 谈论胜利者,一般来说,三个概念中只有一个是赢家。 可能性为70%要么没有任何影响,要么实际听到了业务。 作为[音频不清晰的00:08:37]的实践者,有一个美元符号始终附着在我们身上的可能性不大。 所以注意学习,这非常重要。

第二部分。 因为比值比对我们不利,我的天哪,我会像疯了一样进行创新,我会像疯了一样进行测试。 你必须扩大AB测试量。 如果您正在测试三个,那么您只能获得一个。 但如果你测试的是300,你会得到100分。这是一个单词,累积了临界质量,因此你可以达到临界点,这非常重要。 做那种快速创新。

最后一项。 文化方面,我注意到,我真的想进一步向一个行业灌输,无论我走到哪里,我都会说同样的事情,当我带领团队这样做时,我试着灌输那个同样,也就是说很多时候今天的AB测试都在[听不清00:09:29]的尾声。 它的人已经找到了一个策略,一个线框完成,设计完成。 在AB测试中编码,因为他们已经对这个概念进行了进一步的投入,很多情绪都在那里。 人们很难说,“你知道吗? 我可以忍受我的六个月没有做任何事情。“没有人喜欢这样。 所以那里的情绪太多了,因为它已经进入尾巴了。

因此,我很乐意推动我正在创新的AB测试将测试推到漏斗的上部,为什么不仅仅是设计师的工具包。 当他们设计时,他们就像“我不知道这个。 我认为我有一个不同的想法。“这是一个很好的机会,可以轻松设置易于设置的东西,例如HTML,JavaScript,[音频不清晰00:10:19]这将会非常深入。 简单的东西,将工具作为工具箱提供给设计师。 让他们试一试。 然后他们可以说,“哦,我想我会设计那个,没有人喜欢这个。 我要改变这一点,“因为他们没有在那里投资,机会成本非常低。 他们更愿意真正倾听工具所说的内容,而不是说“我认为我不相信这一点”,这也是我想要讨论的情景。

第三件事就是建立成功的AB测试计划,真正归结为三个非常重要的部分。 工具,人员和流程。 工具,选择正确的工具,取决于它是什么,因为有很多重量级的工具,如测试目标。 还有非常轻量级的工具,比如Optimizely。 它是一系列广泛的工具。 那么,[听不清00:11:11]哪个工具真的想要定义他们的目标,策略和文化,然后真正做好评估这个源代码中JavaScript的工具? 这个脚本在哪里? 我在哪里开[听不清00:11:25]? 在页面顶部或页面底部。 或者,当您查看AB测试分析功能时,会看到[音频不清晰00:11:34]吗? 我使用[偏差]了吗? 我使用IQR吗? 我如何取出异常值? 深入研究这些问题。 获得科学。 首先深入研究。

第二件事是,我想我听到其中一位主持人在说话,我认为是迈克尔,提到他有一个没有支持的工具。 那对我来说是。 。 。 你可以拥有世界上最好的工具。 如果你不能支持我并带领我的团队,最好的课堂学习你的工具,它[听不到00:12:07]给我。 因此,从支持基础设施到提供分析的能力中可以看到[阅读,是否违反]。

第二部分是人,技术。 当我谈论技术时,意义确实需要利用科学的东西使其可信。 例如,并发测试,运行并发测试。 如果我在漏斗中跑起来并在漏斗中下降,我怎么知道没有噪音? 去做。 在[音频不清晰00:12:41]工具时运行AA测试,并进行高级分割。 有记录要说50-50,50-50,50-50的东西。 这些噪音甚至证明了这一点,确立了可信度。

另一件事就是我们谈论投资回报率时有很多次,这是我们在戴尔做的很多事情,这真的很有趣。 拥有强大的胜利者宣布[听不见00; 13:08]标准。 你运行测试多久了? 他们是融合和分歧的吗? 你在哪里削减软发射。 你什么时候停止测试? 你是在工作日和周末经营吗? 您需要考虑所有这些标准。 所以在那里建立科学。

建立技术的另一件事是,例如,很多时候测试正在推出,人们会说,“这是怎么运行的? 让我们来看看。 还不够好。“提出你的流量估算器,你的信心估算器,这是值得关注的东西。 这就是触手可及的东西。 有很多博客分享这些。 我很高兴自己分享交通计算器。 还不够好。 我们要么说,这是一方的交通。 这是你有多少食谱,你想要多少提升。 这是你需要多长时间才能运行它。 五天。 这是你获得信心的地方。 这是20天。 这就是你要得到的。 把标志放在前面,设定正确的期望,在那里建立科学,这样人们就可以信任你并建立可信度。 当你想出售一个不太好卖的故事时,可信度变得非常重要。

我想谈谈的最后一件事就是这个过程。 我谈到了这些工具。 我谈到了人和技术。 我谈到了这个过程。 过程非常重要。 人们说AB测试触及了这么多领域。 它涉及产品所有者,涉及UI,开发人员,QA,您的名字。 谁做什么,何时做什么。 弄清楚这一点非常重要。 当事情发生时,事情总会发生。 谁将负责任。 让我们不要[音频不清晰00:14:50]这种情况,排列努力并完成它。 处理非常重要,而且过程也可以帮助您扩展规模,拥有标准流程而不是每个人,无论他们是在做一个单独的组织还是做一个集中​​的组织,事情都可以扩展。

现在我要谈的另一件事是,这是一个有趣的话题,AB测试组织在哪里结构化? 他们可以单独成为独立组织吗? 或者他们应该成为设计组织的一部分? 或者它应该是开发组织的一部分还是敏捷开发环境中的一部分? 这是否属于敏捷Scrum团队? 该组织在哪里? 我见过不同的模型结构。 我不知道Bookings.com是如何构建单词或AB测试团队的。 他们是带着团队还是带着团队或者到处都是。 是啊。 很好。 我实际上在Office Depot中看到过非常相似。 它将在Scrum团队中承担大量的AB测试专业知识,因此您可以进行创新。

在戴尔,我们有一个集中式组织,您只需要一个专门的区域支持,但它是分析组织的所有部分。 我提出这个问题的关键点在于,无论它们是分散的还是中心的,在让组织中的一个人成为观看工具的人方面,拥有一个中心接触点真的非常非常重要。 为了确保正确设置,当你在网站上快速创新时,不要破坏这个东西。 这件事确实打破了,一直相信我。 这是第一件作品。

第二部分是,将集中数据科学或分析功能作为中立方,定义框架,为不同的假设定义。 你是怎么做这个测试的? 定义赢家标准。 所有这些。 所以你实际上可以使这个工具扩展而不会完全偏离方向,因为这对于人们来说非常容易,“我诠释它的方式不同。”这很好,这就是我们如何真正解释它。 这对于提高一致性,可扩展性和可信度非常重要。

现在,我想谈谈的最后一件事是AB测试优先级。 我认为是布莱恩。 布莱恩谈了这个问题。 所以我也想提一下这张幻灯片。 AB测试,如果你从程序开始,那里有来自河马的很多热情的想法,来自人们的想法,任何地方。 他们就像“让我们这样做。”那么,我怎么知道我应该测试哪个想法呢? 这就是为什么有这个,我称它期望价值框架建立,它真的很重要。 这是怎么回事,收入的潜力是什么。 这样做有多复杂。 什么是战略价值? 首先,它甚至可以实施吗? 如果无法实施,为什么还要进行测试呢? 多么浪费机会。 在那里建立这个框架,真正清除可能不好的想法并管理利益相关者的期望。 因此,您可以专注于最重要的想法,从而最大限度地提高运行AB测试的机会成本。

在这方面,我也想谈一点,即使你有这个框架,河马确实有一个事实。 如果[音频不清晰00:18:20]电子商务说,“如果你想,请运行这个测试。”除非我能证明,这将是一个可怕的想法,只有两个人会受到影响。 我正在运行这个。 拥有适当的平衡,拥有指导您的实践的框架,但具有灵活性以满足需求,因为AB测试是关于建立关系,建立联盟,以便当您做出决定时他们将支持您他们现在想听。 你想建立这种伙伴关系。 这非常重要。

现在这是建立AB测试组织。 一些学习如何,一些继续下去的事情,有时会让我头疼。 我必须一直微调。 这些是一些事情。 首先,了解站点差异与真实AB测试结果。 当AB测试有升力时,我怎么知道这是一个真正的升力或只是一个噪音。 这真的,真的[音频不清晰00:19:16],你知道吗? 它并没有什么不同。 或者就此而言,伤害了企业。 所以在这方面,当您配置工具时,在这些领域中的几种技术,首先在配置工具时,在做任何事情之前,我都是运行AA的忠实粉丝。 真的很了解变种。

确保工具实际上以正确的方式构建,最重要的是,随着工具的继续,当您继续运行AB测试时,始终会留下少量流量来连续运行AB或定期运行。 运行AA测试或定期运行AA测试以确保工具正常运行。 或者,当您实际执行大型战略性AB测试时,您可以进行AA测试。 对不起,AAB,意思是两个控制或一个测试。 因此,您可以了解控制配方与理解AB之间的自然差异。 或者您可以运行AA / BB含义,两个控件和两个测试。 这样,您就可以了解此测试结果与AB测试结果之间的自然差异。 因此,对于大型测试,如果你正在做一些像购物车结账,导航,那些类型的大事,那么它的好处就是让你能够真正理解,什么是网站噪音及其影响。

我要谈的第二件事是保质期。 赢家的保质期是多久。 这是一个我一直在问自己的宇宙问题。 顺便说一句,我知道我很内疚。 有时我会像分析它那样的东西,无论多少钱。 真? AB测试是一个窗口分析,而不是两个,三个星期你运行。 有很多东西,可能会有所不同。 这可能是促销活动。 它可以标记一个驱动程序,带来流量。你可以推出不同的产品。 它可以[听不见00:21:14]。 可以说有很多可变性,仅仅因为我在两周内看到,我可以在一年内看到它,这是一个巨大的,巨大的假设。

如果你想做出这个假设,我不是说不。 我说,使用你之前和之后,观看它看,我看到这个东西仍然是八点,或者实际上是五点左右,这是我在发布AB之前看到的。 并定期将其翻转过来。 例如,特别是如果您使用大量AB测试工具作为临时实现。 您可以通过该工具推送获胜者,有时选择样本大小和[音频不清晰00:21:50]挑选获胜者,可以选择手动选择,在本季度采样三到五个。 把它们转回去,看看我是否重新测试了相同的概念,我看到了电梯。 如果我看到电梯,我会预订收入。 如果我没有看到电梯,那就不要再预订,因为它不再存在了。 有锥度效应。 注意那些。

我一直在处理的另一件事。 这是我一整天都喜欢的问题。 你提出了这个强有力的分析,你把所有的努力放在那里,他们就像“我只是不相信它。 我不。 我不喜欢你的结果而我认为这不正确。“如果你听到这个,请举手。 很多人。 这事儿常常发生。 那么我该如何处理这类事情呢? 没有正确或错误的答案。 对于那些举手的人,我很乐意和你们谈谈你们如何处理这个问题。 这是一个非常宇宙的问题。

我试图做的第一件事是,很多时候,当这种情况发生时,真的是那些正在进行这项巨大的战略考验的人,他们在那里有很多既得利益。 那是人们倾向于推迟决定的时候了。 小家伙,放手吧。 这是在我进行任何AB测试之前的情况,第一件事就是,“如果结果不是你想看到的,你会做出任何不同的决定吗?”这是第一个问题。 如果答案是,“不,我想我会去。 。 “确切地说。 卢卡斯已经点头了。

从业者。 我想我喜欢这个。 这是我的宝贝。 我花了六个月的时间做这件事。 我要去了。 然后我的建议是,我们怎么样不进行AB测试并做一个前后。 我不是说,不要注意你的结果。 我说AB之后做AB。 我们可以这样做。 为什么? 首先,它没有改变我们的决定。 无论结果与否,无论结果如何,都不会改变决定。 为什么要打扰AB测试? 因为有机会成本所以那里有设计,开发资源。 看看你是否可以逃脱,我需要观看AB。 不做AB,只看前后,就这样。

有时这不是很好,因为他们想要AB,即使他们不想要结果,他们仍然想要一个AB。 所以在这方面,如果你真的做了AB,这就是我之前提到的关于配置工具的地方,真的花时间,确保你选择正确的工具,正确配置,正确看功能。 它可以追溯到一件事。 数据[音频不清晰00:24:25]和可信度。 从字面上看,这非常重要。 如果你发现我们将要做的错误,没有测试是完美的,人们总是可以挖洞。 但是,让它成为你自己团队的一个漏洞。 不是来自利益相关者。 当这种情况发生时,人们会说,“我发现了错误。 当我发现错误时,我怎么能相信你的结果。“

所以这真的非常重要。 确保您再次使用QA和QA,并且很多人使用自动脚本,这很好,如果您使用脚本,请确保您的脚本已更新,以便捕获所有更改。 如果你做菜单QA,请确保你看不同的平台,同一浏览器内的不同浏览器,不同版本的浏览器,并确保你使用你的手机,使用你的平板电脑,使用任何QA,以便体验和外观是你的预期。 如果没有,那很好,只是从您的经验中排除这些设备,现在您不必担心这一点。 制定战略以及如何管理这些复杂性非常重要。

我尝试做的第三件事,特别是那些重大测试,我总是说,伙计们,当你推出一个全新的东西时,有一个震撼因素或新奇因素。 我总是告诉他们,期待冲击因素超过新奇因素。 我将使用杂货店的类比。 这是我附近的杂货店。 这不是花哨的。 组织不是那么好。 但我知道牛奶在哪里,鸡蛋在哪里。 我可以抓住它去。 我受够了。 现在有人来这里说,“这家杂货店需要彻底重新设计。 好的,新的标识,一切都以不同的方式重新排列。“但我找不到任何东西。 我很沮丧。 我走了。 那是震惊因素。 所以我总是告诉我的利益相关者,你为什么要进行重大改变? [音频不清晰00:26:18]期待他已经赢了。 期待你不要伤害一个企业,从那里开始。 首先,真正降低预期。

其次是在启动测试之前确定成功标准和阈值以及您将要做出的决定,字面上说,“嘿,当你启动这个测试时,如果它获胜了。 如果是2%,你打算做什么? 如果是10%,你打算做什么?“当然即使没有变化也要实施,实施。 但是,如果其他人是消极的呢? 如果不到2%? 也许这个决定仍在实施,但如果它的10%呢? 你要说,我打算回电话。 在启动AB测试之前定义该框架。

并非所有事情都会这样,但至少你有一个框架来消除这种情绪。 从利益相关者那里写下一些东西说:“嘿,这是一个真实的案例。 这可能是10%。“如果确实发生了这种情况,那不是一个争论。 它,在这里我们定义了我们要去做的事情,这里是结果。 真正的是什么。 让数据说明一切,而不是告诉他们实施或不实施。 在一天结束时,如果是这样的产品所有者,他们只是在那个章程中。 他们想做出这个决定。 给他们决定。 但在某种程度上,这是科学的,它的目标,它的数据驱动。 因此,做这些事情真的非常重要。

最后但并非最不重要的是,为什么人们说“我不喜欢这个。 我不相信这一点。“很多时候它是因为,除非你有理由为什么要给他们一些事情,你想让他们做什么? 这就是为什么当我进入这种情况时,除了AB测试结果之外,很多时候它实际上也链接到了网络分析,所以你可以推进除此之外的细分。 在这方面也做了很多定性分析。 您可以使用任何用户测试类型的平台,例如usertesting.com或Usability Lab,在两种不同的体验之间真正关注,人们喜欢和不喜欢什么。 找出导致这种情况发生的原因。 首先。

或者您可以使用茶叶等工具,这是一种网络或重播网站重播技术,可以查看人们点击或不点击的位置。 你会对他们有什么期望呢。 他们实际上做了什么。 所以使用它来真正找出原因,因为只有为什么是扬声器的交互能力。 这没用。 我们并没有真正让决策者做出很多选择。 但是,如果你有一个原因,接着是[音频不清晰的00:29:11]为什么,这就是我们将如何进行迭代,这就是我们如何进行潜在的破坏控制,或者我们需要考虑建设改变,然后继续改善体验。 找到有用的因素来缓解那些“我不想听到这个。 我讨论没有价值。“

关于处理那些不相信数据的人的最后一个因素,这是一回事,这就是分析人员会相信客观性,相信我们正在尽力而为。 最后[音频不清晰00:29:44]尽力而为,让筹码下降,因为在一天结束时,无论谁拥有该网站,都在进行最后的商务电话会议。 我们在这里是一位值得信赖的顾问,并且有助于建立这座桥梁。 例如,[音频不清晰00:29:58]实现了一些东西,好吧,让我们看看。 我可以帮你看看之前和之后吗? 这里有一些额外的概念,我们可以做损伤控制,使其更好。 这些是帮助建立长期可持续,健康的关系的因素,因为你想要进行测试,而不是一站式商店,你希望它继续下去。 它不是冲刺。 这是一场马拉松比赛。 你想建立这种长期关系。 这不是关于你必须赢得每场战斗的事情,其他人必须赢得这场战斗。 它关于建立信任协作关系。

最后,我想谈谈扩展AB测试计划的一部分。 我之前提到过,能够进行大量AB测试非常重要,因为可能性很大,你只算三分之一的赢家。 三分之一的测试是胜利者。 那么你如何扩展AB测试程序? 显然,标准做法,你可以做拆分流量并发AB,当你这样做时,一定要确保工具设置正确。 例如,如果您使用“测试”和“目标”,或者您可以使用“全局收件箱”来跨越流量,则可以执行拆分流量测试。 如果您使用Optimizely,这是另一种工具。 您可以使用全局广告系列来分割流量。 使用可用的技术来扩展平台。 当然,运行并发测试,上部或下部漏斗。 那些类型的东西。 就像我说的,如果我们在理论上正确配置两个,它不应该花费噪音,而是不断增加速度。

第三件事是进入一些创造性的解决方案。 例如在类似市场中进行测试。 当我在两家公司运营全球计划时,我注意到的是美国,加拿大和英国等市场,有点像市场,特别是美国和加拿大。 因此,在这方面,如果每个人,例如,如果它是一家美国公司,所有人都在美国进行测试,因为这是你最大的市场,我想要我最大的收获。 将一些概念带入加拿大,在那里进行测试。 然后将胜利者带回美国或在这里获胜并扩展到加拿大。 这将为您提供更多的域,以AB测试的速度启动。

当然,有不同类型的AB可以扩展。 例如,你可以做大,战略,改变网站搜索算法,购物车结帐,导航,页眉和页脚等等。 而且,不要忘记那些小的颜色和字体,形状和文字。 所有这些小事。 由于这些原因,我也花了很多精力在这些类型的测试中,而不是大型战略测试累积这一临界质量。 因此,您可以启动更大范围的更大和更小的测试。

And the other thing you could do is mark any drivers. This is one area I’ve seen two companies now, same thing in [inaudible 00:33:03], it’s a very underutilized area. I don’t see a lot of people running lots of very robust digital marketing AB tests. Everybody is, “Here’s my site. I want to optimize here.” Which is natural, but don’t forget that there’s two sides to a coin. Bring the traffic in, which is you’re marketing driver and ecommerce, one thing here then you optimize. Don’t forget the other side of the coin.

Now I don’t know how many people has optimized email. Email, paid keyword, where do they land? Affiliated. Where should they go? Oh my gosh, talk about ROI. Those are really money out of the door, to bring the traffic in, where do you lend them. How do you make it relevant for them? And also using AB testing to understanding the attribution. My gosh, how long is my email effective. If my email is effective, in the month, please don’t bug people every week on that silly email because it’s going to get people to say, “I’m not going to open this. This is just spam.” Really leverage AB testing tools to really optimize truly what costs you money which is marketing driver. I’ve seen some, but I don’t see as robust the ecommerce. I don’t know if that’s the case with Booking.com either.

Also, so it’s a great area to be able to run in the volume. Generally there are a lie. While not everybody is going to the site to have a situation. And the last but not least of these, is something near and dear to my heart. Personalization and behavioral targeting. So something one of the panelists touched on that one as well. Personalization is hard to do because you want to figure out the right. Second the customer I think are exactly what they’re looking for, so you’re giving the right people, a segment of people, the right experience. But boy, isn’t personalization working. Literally, when I was doing that in Dell.com, I’m seeing somewhere between 60 to 70% win rate. Boy, isn’t that wonderful? It doesn’t cover everybody. But it wins so heavily.

Simple things like, if people add items in the cart and they left and they come back again. Really on the main home page, adding a banner to say, “Are you still interested in the products in your cart? Click here, directly take you to the cart and checkout.” You don’t have to go through the browse layer. Cut right into the funnel, pick up where they started and take them out. This is one thing we’ve done.

Second thing, if you go to Dell.com today, they’re still there, amazingly how effective it was. The first time you come into the website you could be a consumer, it could be business, but if you end up to be the consumer and you navigating between the desktop and laptop, the second time you’re coming back here, you’ll be for like a four by two tile, for navigating you into different systems, accessory, seeking support. Again, it’s about bringing the experience close to them so they don’t have to. Every time they come to your site, they started from where they started 10 times ago. Finding that efficiency in terms of the segmentation, that’s a great way to a scale your experience and above all, significantly increase the win rate.

Now, it’s been seven years, like I said, it’s a humbling journey. There are many other issues that we deal with. For example, dealing with conflicting results where you have a fine metrics tracking and two say one thing, [inaudible 00:36:40]. It’s tricky. We’re dealing with conflicting stakeholders, implementing one winner in favor of one organization at a cost of another. It’s a lot of this complexity dealing with organizational complexity and results complexity. So really, what’s the message for the madness? This is the question that can be pondered every day ever since 15, 20 years ago when I was an analyst. But this is really beautifully
I learned [inaudible 00:37:17]. At Worldwide [inaudible 00:37:21] Organization, we have about 300 metrics. It’s a contact center and it’s about agents, it’s about people, it’s about operational efficiency. We have a lot of measures, a lot of metrics.

The question is, how do we run business on 300 metrics? 你不能。 It has to be a very small set of them. But how do you filter from something here to here? This is where data science kicks in. I’m a big fan. I’m the biggest fan and becoming increasingly the biggest fan for data science because ideally, data science is trying to help you finding out the causation, which is not very easy to find at all. Causation is very hard to find. But it can help you find out the correlation.

What does coalition do? Coalition, I’m going to borrow [inaudible 00:38:07] words, make you work smarter, not harder. Imagine if they could say, “Here’s my 50 metrics or 30 metrics out on a track.” Imagine your equipped with your analytics to say, “Hey based on the science, data science work we’ve done, these five metrics are not related to what your metric measure here at all. Don’t even bother to put in the system because they are not related.”

Really putting the relevant related metrics in there. You’re making your metrics getting smaller, getting more relevant, weed out the noise so you can truly measure what’s really important. So one thing if I can close my presentation would be, find the way, when you talk about AB testing or analytics, when you figure out what KPI to measure. Figure out the correlation of the things you want to measure, what other things leads to that? That will really help you channeling, weed out the noise, and really avoid dealing with the conflicts of the results so you can channel energy to measure what really matters. That concludes my presentation. 谢谢。

相关文章

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注